diff --git a/translations/ar/.co-op-translator.json b/translations/ar/.co-op-translator.json index 57a7be4c6..d42fe3237 100644 --- a/translations/ar/.co-op-translator.json +++ b/translations/ar/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:15:01+00:00", + "translation_date": "2026-07-29T17:31:56+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ar" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:39:02+00:00", + "translation_date": "2026-07-29T17:32:55+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ar" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:57:05+00:00", + "translation_date": "2026-07-29T17:32:29+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ar" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:56:53+00:00", + "translation_date": "2026-07-29T17:31:28+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "ar" }, diff --git a/translations/ar/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ar/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index c7bf508f4..f5ad6ef4a 100644 --- a/translations/ar/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ar/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **كيفية استخدام Model Builder لتكميم Phi-3.5** +# **تحويل فتيل عائلة Phi باستخدام امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime** -يدعم Model Builder الآن تكميم نموذج ONNX لـ Phi-3.5 Instruct و Phi-3.5-Vision +## **ما هي امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime** + +تساعدك هذه الامتدادات على تشغيل الذكاء الاصطناعي التوليدي مع ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). توفر حلقة الذكاء الاصطناعي التوليدي لنماذج ONNX، بما في ذلك الاستدلال مع ONNX Runtime، ومعالجة اللوغاريتمات، والبحث والعينة، وإدارة ذاكرة التخزين المؤقتة KV. يمكن للمطورين استدعاء طريقة generate() عالية المستوى، أو تشغيل كل تكرار للنموذج في حلقة، وتوليد رمز واحد في كل مرة، واختيارياً تحديث معلمات التوليد داخل الحلقة. تدعم البحث الجشع/شعاع البحث وعينات TopP و TopK لتوليد تسلسلات الرموز ومعالجة اللوغاريتمات المدمجة مثل عقوبات التكرار. يمكنك أيضًا إضافة تقييم مخصص بسهولة. + +على مستوى التطبيق، يمكنك استخدام امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime لبناء تطبيقات باستخدام C++ / C# / Python. وعلى مستوى النموذج، يمكنك استخدامها لدمج النماذج الدقيقة وإجراء العمل الكمي المتعلق بالنشر. + + +## **تحويل Phi-3.5 باستخدام امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime** + +### **النماذج المدعومة** + +تدعم امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime تحويل التحجيم الكمومي لنماذج Microsoft Phi و Google Gemma و Mistral و Meta LLaMA. + + +### **منشئ النموذج في امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime** + +يسرع منشئ النموذج بشكل كبير من إنشاء نماذج ONNX المحسنة والمحجّمة التي تعمل مع واجهة generate() الخاصة بـ ONNX Runtime. + +من خلال منشئ النموذج، يمكنك تحويل النموذج إلى INT4 و INT8 و FP16 و FP32، ودمج طرق تسريع الأجهزة المختلفة مثل CPU و CUDA و DirectML و Mobile وما إلى ذلك. + +لاستخدام منشئ النموذج تحتاج إلى تثبيت + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +بعد التثبيت، يمكنك تشغيل سكريبت منشئ النموذج من الطرفية لإجراء تحويل صيغة النموذج والتحجيم الكمومي. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +فهم المعلمات ذات الصلة + +1. **model_name** هذا هو النموذج الموجود على Hugging Face، مثل microsoft/Phi-3.5-mini-instruct و microsoft/Phi-3.5-vision-instruct، إلخ. يمكن أن يكون أيضًا المسار الذي تخزن فيه النموذج + +2. **path_to_output_folder** مسار حفظ تحويل التحجيم الكمومي + +3. **execution_provider** دعم تسريع الأجهزة المختلفة، مثل cpu و cuda و DirectML + +4. **cache_dir_to_save_hf_files** نقوم بتنزيل النموذج من Hugging Face وتخزينه مؤقتًا محليًا + + + + +***ملاحظة：*** + +## **كيفية استخدام منشئ النموذج لتحويل Phi-3.5** + +يدعم منشئ النموذج الآن تحويل نماذج ONNX لـ Phi-3.5 Instruct و Phi-3.5-Vision ### **Phi-3.5-Instruct** -**تحويل بتسريع CPU لتكميم INT4** + +**تحويل محسن باستخدام CPU للتحجيم الكمومي INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**تحويل بتسريع CUDA لتكميم INT4** +**تحويل محسن باستخدام CUDA للتحجيم الكمومي INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. تحميل microsoft/Phi-3.5-vision-instruct في مجلد النماذج +2. تنزيل microsoft/Phi-3.5-vision-instruct في مجلد النماذج [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. يرجى تحميل هذه الملفات إلى مجلد Phi-3.5-vision-instruct الخاص بك +3. يرجى تنزيل هذه الملفات إلى مجلد Phi-3.5-vision-instruct الخاص بك - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. تحميل هذا الملف إلى مجلد النماذج + +4. تنزيل هذا الملف إلى مجلد النماذج [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. انتقل إلى الطرفية - تحويل دعم ONNX باستخدام FP32 + تحويل دعم ONNX إلى FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **ملاحظة:** -1. يدعم Model Builder حالياً تحويل Phi-3.5-Instruct و Phi-3.5-Vision، لكنه لا يدعم Phi-3.5-MoE +1. يدعم منشئ النموذج حاليًا تحويل Phi-3.5-Instruct و Phi-3.5-Vision، لكنه لا يدعم Phi-3.5-MoE -2. لاستخدام نموذج ONNX المكمم، يمكنك استخدامه عبر SDK الخاص بـ Generative AI extensions for onnxruntime +2. لاستخدام نموذج ONNX المحجّم، يمكنك استخدامه عبر SDK امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime -3. نحتاج إلى مراعاة الذكاء الاصطناعي المسؤول بشكل أكبر، لذلك يُنصح بإجراء اختبارات فعالة للنتائج بعد تحويل تكميم النموذج +3. نحتاج إلى المزيد من الاعتبارات المسؤولية في الذكاء الاصطناعي، لذا يُنصح بإجراء اختبار أكثر فاعلية للنتائج بعد تحويل تحجيم النموذج + +4. من خلال تحجيم نموذج CPU INT4، يمكن نشره إلى أجهزة Edge، التي تقدم سيناريوهات تطبيق أفضل، ولذلك أكملنا Phi-3.5-Instruct حول INT 4 -4. من خلال تكميم نموذج CPU INT4، يمكننا نشره على أجهزة الحافة (Edge Device)، مما يوفر سيناريوهات تطبيق أفضل، لذا فقد أكملنا تكميم Phi-3.5-Instruct حول INT4 ## **الموارد** -1. تعرف أكثر على Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. تعرف على المزيد حول امتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. مستودع GitHub لامتدادات الذكاء الاصطناعي التوليدي لـ onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. مستودع GitHub الخاص بـ Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**إخلاء المسؤولية**: -تمت ترجمة هذا المستند باستخدام خدمة الترجمة الآلية [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق به. للمعلومات الهامة، يُنصح بالاعتماد على الترجمة البشرية المهنية. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. \ No newline at end of file + +**تنويه**: +تمت ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى للدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الرسمي والمعتمد. للمعلومات الهامة، يُنصح بالاستعانة بترجمة بشرية محترفة. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. + \ No newline at end of file diff --git a/translations/ar/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ar/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index b80299a55..c83141def 100644 --- a/translations/ar/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ar/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,14 +1,14 @@ -# **دليل استخدام OnnxRuntime GenAI مع GPU على ويندوز** +# **دليل استخدام OnnxRuntime GenAI على Windows مع GPU** -يوفر هذا الدليل خطوات إعداد واستخدام ONNX Runtime (ORT) مع وحدات معالجة الرسومات (GPU) على نظام ويندوز. الهدف هو مساعدتك في الاستفادة من تسريع GPU لنماذجك، مما يحسن الأداء والكفاءة. +يوفر هذا الدليل خطوات لإعداد واستخدام ONNX Runtime (ORT) مع وحدات معالجة الرسومات على نظام Windows. تم تصميمه لمساعدتك في الاستفادة من تسريع وحدة معالجة الرسومات لنماذجك، مما يحسن الأداء والكفاءة. -يحتوي المستند على إرشادات حول: +يقدم المستند إرشادات حول: -- إعداد البيئة: تعليمات تثبيت المتطلبات اللازمة مثل CUDA وcuDNN وONNX Runtime. -- التهيئة: كيفية ضبط البيئة وONNX Runtime لاستخدام موارد GPU بشكل فعال. -- نصائح التحسين: إرشادات لضبط إعدادات GPU لتحقيق أفضل أداء. +- إعداد البيئة: تعليمات تثبيت الاعتمادات اللازمة مثل CUDA وcuDNN وONNX Runtime. +- التهيئة: كيفية تكوين البيئة وONNX Runtime لاستخدام موارد GPU بفعالية. +- نصائح التحسين: نصائح حول كيفية ضبط إعدادات GPU للحصول على أفضل أداء. -### **1. Python 3.10.x /3.11.8** +### **1. بايثون 3.10.x /3.11.8** ***ملاحظة*** يُنصح باستخدام [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) كبيئة بايثون الخاصة بك @@ -20,10 +20,11 @@ ``` - ***تذكير*** إذا قمت بتثبيت أي مكتبة ONNX خاصة ببايثون، يرجى إزالتها أولاً + ***تذكير*** إذا قمت بتثبيت أي مكتبة ONNX للبايثون، يرجى إلغاء تثبيتها ### **2. تثبيت CMake باستخدام winget** + ```bash winget install -e --id Kitware.CMake @@ -32,31 +33,34 @@ ### **3. تثبيت Visual Studio 2022 - تطوير سطح المكتب باستخدام C++** - ***ملاحظة*** إذا لم ترغب في الترجمة، يمكنك تخطي هذه الخطوة + ***ملاحظة*** إذا كنت لا ترغب في التجميع يمكنك تخطي هذه الخطوة ![CPP](../../../../../../translated_images/ar/01.42f52a2b2aedff02.webp) -### **4. تثبيت تعريف NVIDIA** -1. **تعريف NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. تثبيت برنامج تشغيل NVIDIA** + +1. **برنامج تشغيل NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***تذكير*** يرجى استخدام الإعدادات الافتراضية أثناء التثبيت +***تذكير*** يرجى استخدام الإعدادات الافتراضية أثناء عملية التثبيت ### **5. إعداد بيئة NVIDIA** -انسخ ملفات NVIDIA CUDNN 9.4 من مجلدات lib وbin وinclude إلى مجلدات NVIDIA CUDA 12.4 المقابلة +انسخ ملفات lib وbin وinclude الخاصة بـ NVIDIA CUDNN 9.4 إلى مجلدات lib وbin وinclude الخاصة بـ NVIDIA CUDA 12.4 + +- انسخ ملفات *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* إلى *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* + +- انسخ ملفات *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* إلى *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* -- انسخ ملفات *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* إلى *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- انسخ ملفات *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* إلى *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- انسخ ملفات *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* إلى *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* -- انسخ ملفات *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* إلى *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* +### **6. تنزيل Phi-3.5-mini-instruct-onnx** -### **6. تحميل Phi-3.5-mini-instruct-onnx** ```bash @@ -72,23 +76,28 @@ ### **7. تشغيل InferencePhi35Instruct.ipynb** - افتح [دفتر الملاحظات](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) وقم بالتنفيذ + افتح [دفتر الملاحظات](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ونفذ + ![RESULT](../../../../../../translated_images/ar/02.b9b06996cf7255d5.webp) -### **8. ترجمة ORT GenAI GPU** + +### **8. تجميع ORT GenAI GPU** + ***ملاحظة*** - 1. يرجى إزالة تثبيت جميع مكتبات onnx و onnxruntime و onnxruntime-genai أولاً + 1. يرجى إلغاء تثبيت كل ما يتعلق ب onnx و onnxruntime و onnxruntime-genai أولاً + ```bash pip list ``` - ثم قم بإزالة تثبيت جميع مكتبات onnxruntime مثل: + ثم قم بإلغاء تثبيت جميع مكتبات onnxruntime مثل + ```bash @@ -100,13 +109,17 @@ ``` - 2. تحقق من دعم امتداد Visual Studio + 2. تحقق من دعم امتداد Visual Studio + + تحقق من C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras لضمان وجود C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + + إذا لم يتم العثور عليه تحقق من مجلدات أدوات CUDA الأخرى ونسخ مجلد visual_studio_integration ومحتوياته إلى C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + - تحقق من وجود المجلد C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration داخل C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras - إذا لم يكن موجودًا، تحقق من مجلدات تعريف Cuda الأخرى وانسخ مجلد visual_studio_integration ومحتوياته إلى C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration - - إذا لم ترغب في الترجمة، يمكنك تخطي هذه الخطوة + - إذا كنت لا تريد التجميع يمكنك تخطي هذه الخطوة + ```bash @@ -114,16 +127,17 @@ ``` - - قم بتحميل [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) + - قم بتنزيل [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - فك ضغط onnxruntime-win-x64-gpu-1.19.2.zip وأعد تسميته إلى **ort**، ثم انسخ مجلد ort إلى onnxruntime-genai + - فك ضغط onnxruntime-win-x64-gpu-1.19.2.zip ، وأعد تسميته إلى **ort**، وانسخ مجلد ort إلى onnxruntime-genai - - باستخدام Windows Terminal، افتح Developer Command Prompt لـ VS 2022 واذهب إلى مجلد onnxruntime-genai + - باستخدام Windows Terminal، اذهب إلى Developer Command Prompt لـ VS 2022 واذهب إلى onnxruntime-genai ![RESULT](../../../../../../translated_images/ar/03.b83ce473d5ff9b9b.webp) - - قم بترجمته باستخدام بيئة بايثون الخاصة بك + - قم بتجميعه باستخدام بيئة البايثون الخاصة بك + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**إخلاء المسؤولية**: -تمت ترجمة هذا المستند باستخدام خدمة الترجمة الآلية [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق به. للمعلومات الهامة، يُنصح بالاعتماد على الترجمة البشرية المهنية. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. \ No newline at end of file +--- + + +**تنويه**: +تمت ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى للدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الرسمي والمعتمد. للمعلومات الهامة، يُنصح بالاستعانة بترجمة بشرية محترفة. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. + \ No newline at end of file diff --git a/translations/ar/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ar/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index d17ef8d5c..56f3f4130 100644 --- a/translations/ar/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ar/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,24 +1,24 @@ -# استخدام GPU في ويندوز لإنشاء حل Prompt flow مع Phi-3.5-Instruct ONNX +# استخدام GPU لنظام ويندوز لإنشاء حل Prompt flow مع Phi-3.5-Instruct ONNX -الوثيقة التالية هي مثال يوضح كيفية استخدام PromptFlow مع ONNX (Open Neural Network Exchange) لتطوير تطبيقات الذكاء الاصطناعي المبنية على نماذج Phi-3. +المستند التالي هو مثال على كيفية استخدام PromptFlow مع ONNX (Open Neural Network Exchange) لتطوير تطبيقات الذكاء الاصطناعي المبنية على نماذج Phi-3. -PromptFlow هي مجموعة أدوات تطوير تهدف إلى تبسيط دورة التطوير الشاملة لتطبيقات الذكاء الاصطناعي المعتمدة على نماذج اللغة الكبيرة (LLM)، بدءًا من الفكرة والنماذج الأولية وصولًا إلى الاختبار والتقييم. +PromptFlow هو مجموعة من أدوات التطوير المصممة لتبسيط دورة التطوير الشاملة لتطبيقات الذكاء الاصطناعي المعتمدة على النماذج اللغوية الكبيرة (LLM)، من توليد الأفكار والنمذجة الأولية إلى الاختبار والتقييم. من خلال دمج PromptFlow مع ONNX، يمكن للمطورين: -- تحسين أداء النموذج: الاستفادة من ONNX لتنفيذ النموذج ونشره بكفاءة. +- تحسين أداء النموذج: الاستفادة من ONNX لتحقيق استدلال ونشر فعال للنماذج. - تبسيط التطوير: استخدام PromptFlow لإدارة سير العمل وأتمتة المهام المتكررة. -- تعزيز التعاون: تسهيل التعاون بين أعضاء الفريق من خلال توفير بيئة تطوير موحدة. +- تعزيز التعاون: تسهيل التعاون الأفضل بين أعضاء الفريق من خلال توفير بيئة تطوير موحدة. -**Prompt flow** هي مجموعة أدوات تطوير تهدف إلى تبسيط دورة التطوير الشاملة لتطبيقات الذكاء الاصطناعي المعتمدة على نماذج اللغة الكبيرة، بدءًا من الفكرة، والنماذج الأولية، والاختبار، والتقييم، وصولًا إلى النشر في الإنتاج والمراقبة. تجعل هندسة المطالبات أسهل بكثير وتمكنك من بناء تطبيقات LLM بجودة إنتاجية. +**Prompt flow** هي مجموعة من أدوات التطوير المصممة لتبسيط دورة التطوير الشاملة لتطبيقات الذكاء الاصطناعي المعتمدة على النماذج اللغوية الكبيرة، من توليد الأفكار والنمذجة الأولية والاختبار والتقييم إلى النشر في الإنتاج والمراقبة. إنه يجعل هندسة التوجيه أسهل بكثير ويمكّنك من بناء تطبيقات LLM بجودة الإنتاج. -يمكن لـ Prompt flow الاتصال بـ OpenAI، وAzure OpenAI Service، والنماذج القابلة للتخصيص (Huggingface، LLM/SLM محلي). نأمل في نشر نموذج ONNX المكمم لـ Phi-3.5 في التطبيقات المحلية. يمكن لـ Prompt flow مساعدتنا في تخطيط أعمالنا بشكل أفضل وإكمال الحلول المحلية المعتمدة على Phi-3.5. في هذا المثال، سنجمع بين مكتبة ONNX Runtime GenAI لإكمال حل Prompt flow بناءً على GPU في ويندوز. +يمكن لـ Prompt flow الاتصال بـ OpenAI، خدمة Azure OpenAI، والنماذج القابلة للتخصيص (Huggingface، LLM/SLM المحلي). نأمل في نشر نموذج Phi-3.5 ONNX الكمي على التطبيقات المحلية. يمكن لـ Prompt flow مساعدتنا في تخطيط أعمالنا بشكل أفضل وإكمال الحلول المحلية المبنية على Phi-3.5. في هذا المثال، سنجمع مكتبة ONNX Runtime GenAI لإكمال حل Prompt flow المعتمد على GPU لنظام ويندوز. ## **التثبيت** -### **ONNX Runtime GenAI لـ Windows GPU** +### **ONNX Runtime GenAI لـ GPU على ويندوز** -اقرأ هذا الدليل لضبط ONNX Runtime GenAI لـ Windows GPU [اضغط هنا](./ORTWindowGPUGuideline.md) +اقرأ هذا الدليل لضبط ONNX Runtime GenAI لـ GPU على ويندوز [انقر هنا](./ORTWindowGPUGuideline.md) ### **إعداد Prompt flow في VSCode** @@ -26,15 +26,15 @@ PromptFlow هي مجموعة أدوات تطوير تهدف إلى تبسيط د ![pfvscode](../../../../../../translated_images/ar/pfvscode.eff93dfc66a42cbe.webp) -2. بعد تثبيت امتداد Prompt flow في VS Code، انقر على الامتداد واختر **Installation dependencies** واتبع هذا الدليل لتثبيت SDK الخاص بـ Prompt flow في بيئتك +2. بعد تثبيت امتداد Prompt flow في VS Code، انقر على الامتداد، واختر **تركيب التبعيات** واتبع هذا الدليل لتثبيت SDK الخاص بـ Prompt flow في بيئتك ![pfsetup](../../../../../../translated_images/ar/pfsetup.b46e93096f5a254f.webp) -3. قم بتحميل [كود العينة](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) وافتح هذا المثال باستخدام VS Code +3. قم بتنزيل [كود العينة](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) واستخدم VS Code لفتح هذه العينة ![pfsample](../../../../../../translated_images/ar/pfsample.8d89e70584ffe7c4.webp) -4. افتح **flow.dag.yaml** لاختيار بيئة Python الخاصة بك +4. افتح **flow.dag.yaml** لاختيار بيئة البايثون الخاصة بك ![pfdag](../../../../../../translated_images/ar/pfdag.264a77f7366458ff.webp) @@ -42,17 +42,17 @@ PromptFlow هي مجموعة أدوات تطوير تهدف إلى تبسيط د ![pfphi](../../../../../../translated_images/ar/pfphi.72da81d74244b45f.webp) -5. شغّل prompt flow للاختبار +5. شغّل Prompt flow لاختباره -افتح **flow.dag.yaml** وانقر على المحرر المرئي +افتح **flow.dag.yaml** وانقر على المحرر البصري ![pfv](../../../../../../translated_images/ar/pfv.ba8a81f34b20f603.webp) -بعد النقر، قم بتشغيله للاختبار +بعد النقر هنا، قم بتشغيله للاختبار ![pfflow](../../../../../../translated_images/ar/pfflow.4e1135a089b1ce1b.webp) -1. يمكنك تشغيل الدُفعات في الطرفية لمراجعة المزيد من النتائج +1. يمكنك تشغيل الدُفعة في الطرفية للتحقق من المزيد من النتائج ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -يمكنك مراجعة النتائج في متصفحك الافتراضي +يمكنك التحقق من النتائج في المتصفح الافتراضي لديك ![pfresult](../../../../../../translated_images/ar/pfresult.c22c826f8062d7cb.webp) -**إخلاء مسؤولية**: -تمت ترجمة هذا المستند باستخدام خدمة الترجمة الآلية [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق به. للمعلومات الهامة، يُنصح بالاعتماد على الترجمة البشرية المهنية. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. \ No newline at end of file +--- + + +**تنويه**: +تمت ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى للدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الرسمي والمعتمد. للمعلومات الهامة، يُنصح بالاستعانة بترجمة بشرية محترفة. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. + \ No newline at end of file diff --git a/translations/ar/md/03.FineTuning/FineTuning_MLX.md b/translations/ar/md/03.FineTuning/FineTuning_MLX.md index 602c44660..36ae7f868 100644 --- a/translations/ar/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/ar/md/03.FineTuning/FineTuning_MLX.md @@ -1,15 +1,18 @@ -# **تخصيص نموذج Phi-3 باستخدام إطار عمل Apple MLX** +# **ضبط دقيق لـ Phi-3 باستخدام إطار عمل Apple MLX** -يمكننا إتمام التخصيص (Fine-tuning) مع دمج Lora من خلال سطر أوامر إطار عمل Apple MLX. (إذا كنت ترغب في معرفة المزيد عن طريقة عمل إطار MLX، يرجى قراءة [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)) +يمكننا إتمام الضبط الدقيق معًا مع Lora عبر سطر أوامر إطار عمل Apple MLX. (إذا كنت تريد معرفة المزيد عن تشغيل إطار عمل MLX، يرجى قراءة [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md) -## **1. تحضير البيانات** -بشكل افتراضي، يتطلب إطار MLX تنسيق jsonl لبيانات التدريب، والاختبار، والتقييم، ويتم دمجه مع Lora لإتمام مهام التخصيص. +## **1. إعداد البيانات** + +بشكل افتراضي، يتطلب إطار عمل MLX تنسيق jsonl لملفات train و test و eval، ويُستخدم مع Lora لإكمال مهام الضبط الدقيق. + ### ***ملاحظة:*** 1. تنسيق بيانات jsonl: + ```json {"text": "<|user|>\nWhen were iron maidens commonly used? <|end|>\n<|assistant|> \nIron maidens were never commonly used <|end|>"} @@ -19,15 +22,17 @@ ``` -2. المثال الذي نستخدمه يعتمد على بيانات [TruthfulQA's data](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)، لكن كمية البيانات غير كافية نسبيًا، لذلك قد لا تكون نتائج التخصيص هي الأفضل. يُنصح المتعلمين باستخدام بيانات أفضل بناءً على سيناريوهاتهم الخاصة لإتمام العملية. +2. يستخدم مثالنا بيانات [TruthfulQA](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv) ، ولكن حجم البيانات قليل نسبيًا، لذا قد لا تكون نتائج الضبط الدقيق الأفضل. يُنصح المتعلمين باستخدام بيانات أفضل بناءً على سيناريوهاتهم الخاصة لإكمال العملية. + +3. تنسيق البيانات مدمج مع قالب Phi-3 + +يرجى تنزيل البيانات من هذا [الرابط](../../../../code/04.Finetuning/mlx) يرجى تضمين جميع ملفات .jsonl في مجلد ***data*** -3. تنسيق البيانات متوافق مع قالب Phi-3 -يرجى تحميل البيانات من هذا [الرابط](../../../../code/04.Finetuning/mlx)، مع التأكد من وجود جميع ملفات .jsonl في مجلد ***data*** +## **2. الضبط الدقيق في المحطة الطرفية الخاصة بك** -## **2. التخصيص عبر الطرفية** +يرجى تشغيل هذا الأمر في المحطة الطرفية -يرجى تشغيل هذا الأمر في الطرفية ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` + ## ***ملاحظة:*** -1. هذا تخصيص LoRA، إطار MLX لم ينشر QLoRA +1. هذا ضبط دقيق باستخدام LoRA، إطار عمل MLX لا يدعم QLoRA بعد + +2. يمكنك تعديل config.yaml لتغيير بعض المعاملات، مثل -2. يمكنك تعديل ملف config.yaml لتغيير بعض المعاملات، مثل ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -يرجى تشغيل هذا الأمر في الطرفية +يرجى تشغيل هذا الأمر في المحطة الطرفية + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. تشغيل محول التخصيص للاختبار** -يمكنك تشغيل محول التخصيص في الطرفية، كالتالي +## **3. تشغيل ملحق الضبط الدقيق للاختبار** + +يمكنك تشغيل ملحق الضبط الدقيق في المحطة الطرفية، كالتالي + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -وتشغيل النموذج الأصلي للمقارنة +وتشغيل النموذج الأصلي للمقارنة بالنتيجة + ```bash @@ -135,9 +146,11 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -يمكنك محاولة مقارنة نتائج التخصيص مع النموذج الأصلي +يمكنك محاولة مقارنة نتائج الضبط الدقيق مع النموذج الأصلي + + +## **4. دمج الملحقات لإنشاء نماذج جديدة** -## **4. دمج المحولات لإنشاء نماذج جديدة** ```bash @@ -145,10 +158,11 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ``` -## **5. تشغيل نماذج التخصيص الكمية باستخدام ollama** +## **5. تشغيل نماذج الضبط الدقيق المكممة باستخدام ollama** قبل الاستخدام، يرجى إعداد بيئة llama.cpp الخاصة بك + ```bash git clone https://github.com/ggerganov/llama.cpp.git @@ -161,13 +175,14 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***ملاحظة:*** +***ملاحظة:*** + +1. الآن يدعم تحويل الكم لـ fp32 و fp16 و INT 8 -1. الآن يدعم التحويل الكمي fp32، fp16 و INT 8 +2. النموذج المدمج يفتقد ملف tokenizer.model، يرجى تنزيله من https://huggingface.co/microsoft/Phi-3-mini-4k-instruct -2. النموذج المدمج يفتقد ملف tokenizer.model، يرجى تحميله من https://huggingface.co/microsoft/Phi-3-mini-4k-instruct +تعيين [نموذج Ollma](https://ollama.com/) -قم بتعيين [Ollma Model](https://ollama.com/) ```txt @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -شغل الأمر في الطرفية +تشغيل الأمر في المحطة الطرفية + ```bash @@ -186,7 +202,11 @@ PARAMETER stop "<|end|>" ``` -تهانينا! لقد أتقنت التخصيص باستخدام إطار عمل MLX +تهانينا! لقد أتقنت الضبط الدقيق باستخدام إطار عمل MLX + +--- -**إخلاء المسؤولية**: -تمت ترجمة هذا المستند باستخدام خدمة الترجمة الآلية [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق به. للمعلومات الهامة، يُنصح بالاعتماد على الترجمة البشرية المهنية. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. \ No newline at end of file + +**تنويه**: +تمت ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي [Co-op Translator](https://github.com/Azure/co-op-translator). بينما نسعى للدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الرسمي والمعتمد. للمعلومات الهامة، يُنصح بالاستعانة بترجمة بشرية محترفة. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة. + \ No newline at end of file diff --git a/translations/bg/.co-op-translator.json b/translations/bg/.co-op-translator.json index ca3f41e04..2cfd7a654 100644 --- a/translations/bg/.co-op-translator.json +++ b/translations/bg/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:26:12+00:00", + "translation_date": "2026-07-29T18:24:24+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "bg" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:47:25+00:00", + "translation_date": "2026-07-29T18:25:04+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "bg" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:03:48+00:00", + "translation_date": "2026-07-29T18:24:41+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "bg" }, diff --git a/translations/bg/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/bg/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 48c0a2c37..7f483692f 100644 --- a/translations/bg/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/bg/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Как да използваме Model Builder за квантизиране на Phi-3.5** +# **Квантизиране на семейство Phi с разширения за Generative AI за onnxruntime** -Model Builder вече поддържа квантизиране на ONNX модели за Phi-3.5 Instruct и Phi-3.5-Vision +## **Какво са разширенията за Generative AI за onnxruntime** + +Тези разширения ви помагат да стартирате generative AI с ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Те предоставят generative AI цикъл за ONNX модели, включително инференция с ONNX Runtime, обработка на логити, търсене и семплиране, както и управление на KV кеш. Разработчиците могат да извикат високоефективния метод generate() или да изпълняват всяка итерация на модела в цикъл, генерирайки по един токен наведнъж и по избор да актуализират параметрите на генериране в рамките на цикъла. Поддържа greedy/beam търсене и TopP, TopK семплиране за генериране на последователности от токени и вградена обработка на логити като наказания за повторения. Можете също така лесно да добавяте персонализирано оценяване. + +На приложение ниво можете да използвате разширенията за Generative AI за onnxruntime за изграждане на приложения с C++/ C# / Python. На ниво модел можете да ги използвате за сливане на финно настроени модели и извършване на свързана количествена подготовка. + + +## **Квантизиране на Phi-3.5 с разширения за Generative AI за onnxruntime** + +### **Поддържани модели** + +Разширенията за Generative AI за onnxruntime поддържат конверсия в квантизация на Microsoft Phi, Google Gemma, Mistral, Meta LLaMA。 + + +### **Конструктор на модели в разширенията за Generative AI за onnxruntime** + +Конструкторът на модели значително ускорява създаването на оптимизирани и квантизирани ONNX модели, които работят с ONNX Runtime generate() API. + +Чрез Конструктор на модели можете да квантизирате модела до INT4, INT8, FP16, FP32 и да комбинирате различни методи за ускорение на хардуера като CPU, CUDA, DirectML, Mobile и др. + +За да използвате Конструктор на модели, трябва да инсталирате + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +След инсталацията можете да стартирате скрипта Конструктор на модели от терминала, за да изпълните конверсия на формат и квантизация на модела. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Разберете съответните параметри + +1. **model_name** Това е моделът в Hugging face, като microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct и др. Може да бъде и пътят, където съхранявате модела + +2. **path_to_output_folder** Път за запазване на квантизирания конвертиран модел + +3. **execution_provider** Поддръжка на различен хардуерен ускорител, като cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Ние изтегляме модела от Hugging face и го кешираме локално + + + + +***Забележка：*** + +## **Как да използвате Конструктор на модели за квантизиране на Phi-3.5** + +Конструкторът на модели вече поддържа квантизация на ONNX модел за Phi-3.5 Instruct и Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU ускорено квантизиране до INT4** + +**Ускорена с CPU конверсия на квантизиран INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA ускорено квантизиране до INT4** +**Ускорена с CUDA конверсия на квантизиран INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Изтеглете microsoft/Phi-3.5-vision-instruct в папката models +2. Изтеглете microsoft/Phi-3.5-vision-instruct в папка models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Моля, изтеглете тези файлове във вашата папка Phi-3.5-vision-instruct +3. Моля изтеглете тези файлове във вашата папка Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Изтеглете този файл в папката models + +4. Изтеглете този файл в папка models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Отидете в терминала Конвертирайте ONNX с поддръжка на FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **Забележка:** -1. Model Builder в момента поддържа конверсия на Phi-3.5-Instruct и Phi-3.5-Vision, но не и на Phi-3.5-MoE +### **Забележка：** + +1. Конструкторът на модели в момента поддържа конверсия на Phi-3.5-Instruct и Phi-3.5-Vision, но не и Phi-3.5-MoE -2. За да използвате квантизирания ONNX модел, можете да го направите чрез Generative AI extensions for onnxruntime SDK +2. За да използвате квантизирания модел на ONNX, можете да го използвате чрез SDK на разширенията за Generative AI за onnxruntime -3. Трябва да имаме предвид отговорното използване на AI, затова след квантизирането на модела се препоръчва да се проведат по-ефективни тестове на резултатите +3. Трябва да вземем предвид по-отговорния AI, затова след квантизацията на модела се препоръчва да се направят по-ефективни тестове на резултатите + +4. Чрез квантизиране на CPU INT4 модела, можем да го разположим на Edge устройства, които имат по-добри сценарии за приложение, затова сме завършили Phi-3.5-Instruct около INT 4 -4. Като квантизираме CPU INT4 модела, можем да го внедрим на Edge устройства, което отваря по-добри възможности за приложения, затова сме завършили Phi-3.5-Instruct около INT4 ## **Ресурси** -1. Научете повече за Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Научете повече за разширенията за Generative AI за onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. GitHub хранилище на разширенията за Generative AI за onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. GitHub хранилище на Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Отказ от отговорност**: -Този документ е преведен с помощта на AI преводаческа услуга [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод. \ No newline at end of file + +**Отказ от отговорност**: +Този документ е преведен с помощта на AI преводачески услуга [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод. + \ No newline at end of file diff --git a/translations/bg/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/bg/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index ecc0bedee..daabdf496 100644 --- a/translations/bg/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/bg/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Ръководство за OnnxRuntime GenAI Windows GPU** -Това ръководство предоставя стъпки за настройка и използване на ONNX Runtime (ORT) с GPU на Windows. Целта е да ви помогне да използвате ускорението с GPU за вашите модели, подобрявайки производителността и ефективността. +Това ръководство предоставя стъпки за настройка и използване на ONNX Runtime (ORT) с GPU на Windows. То е създадено, за да ви помогне да използвате ускорение с GPU за вашите модели, подобрявайки производителността и ефективността. -Документът съдържа указания за: +Документът предоставя насоки относно: -- Настройка на средата: Инструкции за инсталиране на необходимите зависимости като CUDA, cuDNN и ONNX Runtime. +- Настройка на средата: Инструкции за инсталиране на необходими зависимости като CUDA, cuDNN и ONNX Runtime. - Конфигурация: Как да конфигурирате средата и ONNX Runtime за ефективно използване на GPU ресурсите. -- Съвети за оптимизация: Препоръки за фина настройка на GPU за оптимална производителност. +- Съвети за оптимизация: Съвети за настройка на GPU за оптимална производителност. ### **1. Python 3.10.x /3.11.8** - ***Note*** Препоръчва се използването на [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) като Python среда + ***Бележка*** Препоръчва се използването на [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) като вашата Python среда ```bash @@ -20,10 +20,11 @@ ``` - ***Reminder*** Ако имате инсталирана някаква python ONNX библиотека, моля деинсталирайте я + ***Напомняне*** Ако имате инсталирани каквито и да е Python ONNX библиотеки, моля деинсталирайте ги ### **2. Инсталиране на CMake с winget** + ```bash winget install -e --id Kitware.CMake @@ -32,10 +33,11 @@ ### **3. Инсталиране на Visual Studio 2022 - Desktop Development with C++** - ***Note*** Ако не искате да компилирате, можете да пропуснете тази стъпка + ***Бележка*** Ако не искате да компилирате, можете да пропуснете тази стъпка ![CPP](../../../../../../translated_images/bg/01.42f52a2b2aedff02.webp) + ### **4. Инсталиране на NVIDIA драйвер** 1. **NVIDIA GPU драйвер** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Моля използвайте стандартните настройки по време на инсталацията +***Напомняне*** Моля използвайте подразбиращите се настройки при инсталационния процес ### **5. Настройка на NVIDIA среда** -Копирайте NVIDIA CUDNN 9.4 lib, bin, include в NVIDIA CUDA 12.4 lib, bin, include +Копирайте NVIDIA CUDNN 9.4 lib, bin, include в папките на NVIDIA CUDA 12.4 lib, bin, include -- копирайте файловете от *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- копирайте файловете от *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- копирайте файловете от *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- копирайте файловете от *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- копирайте файловете от *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- копирайте файловете от *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Изтегляне на Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ ### **7. Стартиране на InferencePhi35Instruct.ipynb** - Отворете [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) и го изпълнете + Отворете [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) и изпълнете + ![RESULT](../../../../../../translated_images/bg/02.b9b06996cf7255d5.webp) + ### **8. Компилиране на ORT GenAI GPU** - ***Note*** + + ***Бележка*** 1. Моля първо деинсталирайте всички onnx, onnxruntime и onnxruntime-genai библиотеки + ```bash pip list ``` - След това деинсталирайте всички onnxruntime библиотеки, например: + След това деинсталирайте всички onnxruntime библиотеки, т.е. + ```bash @@ -102,12 +111,16 @@ 2. Проверете поддръжката на Visual Studio Extension - Проверете дали в C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras съществува папка C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Проверете в C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras дали съществува папка C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Ако не е намерена, проверете другите папки на Cuda toolkit драйвера и копирайте папката visual_studio_integration и съдържанието ѝ в C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Ако не е намерена, проверете в другите папки на CUDA toolkit драйвера и копирайте папката visual_studio_integration с цялото ѝ съдържание в C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Ако не искате да компилирате, можете да пропуснете тази стъпка + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ - Изтеглете [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Разархивирайте onnxruntime-win-x64-gpu-1.19.2.zip, преименувайте папката на **ort** и копирайте папката ort в onnxruntime-genai + - Разархивирайте onnxruntime-win-x64-gpu-1.19.2.zip и го преименувайте на **ort**, копирайте папката ort в onnxruntime-genai - - Използвайте Windows Terminal, отворете Developer Command Prompt за VS 2022 и отидете в onnxruntime-genai + - С помощта на Windows Terminal отидете в Developer Command Prompt за VS 2022 и навигирайте до onnxruntime-genai ![RESULT](../../../../../../translated_images/bg/03.b83ce473d5ff9b9b.webp) - - Компилирайте с вашата python среда + - Компилирайте го с вашата Python среда + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**Отказ от отговорност**: -Този документ е преведен с помощта на AI преводаческа услуга [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод. \ No newline at end of file +--- + + +**Отказ от отговорност**: +Този документ е преведен с помощта на AI преводачески услуга [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод. + \ No newline at end of file diff --git a/translations/bg/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/bg/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 93654d0ef..831e269d4 100644 --- a/translations/bg/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/bg/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,18 +1,18 @@ -# Използване на Windows GPU за създаване на Prompt flow решение с Phi-3.5-Instruct ONNX +# Използване на Windows GPU за създаване на решение с Prompt flow и Phi-3.5-Instruct ONNX -Следният документ е пример за това как да използвате PromptFlow с ONNX (Open Neural Network Exchange) за разработка на AI приложения, базирани на Phi-3 модели. +Следният документ е пример за това как да се използва PromptFlow с ONNX (Open Neural Network Exchange) за разработване на AI приложения базирани на модели Phi-3. -PromptFlow е набор от инструменти за разработка, предназначени да улеснят целия цикъл на разработка на AI приложения, базирани на LLM (Large Language Model), от идеята и прототипирането до тестването и оценката. +PromptFlow е набор от инструменти за разработка, предназначен да улесни цикъла на разработка на AI приложения, базирани на LLM (големи езикови модели), от идеен замисъл и прототипиране до тестване и оценка. -Чрез интегриране на PromptFlow с ONNX, разработчиците могат да: +Чрез интегриране на PromptFlow с ONNX, разработчиците могат: -- Оптимизират производителността на модела: Използвайте ONNX за ефективно изпълнение и внедряване на модела. -- Опростят разработката: Използвайте PromptFlow за управление на работния процес и автоматизиране на повтарящи се задачи. -- Подобрят сътрудничеството: Улесняват по-добрата комуникация между членовете на екипа чрез предоставяне на единна среда за разработка. +- Да оптимизират производителността на модела: Използвайте ONNX за ефективно изпълнение и внедряване на модела. +- Да опростят разработката: Използвайте PromptFlow за управление на работния процес и автоматизация на повтарящи се задачи. +- Да подобрят сътрудничеството: Улесняване на по-добра работа в екип чрез предоставяне на унифицирана среда за разработка. -**Prompt flow** е набор от инструменти за разработка, създаден да улесни целия цикъл на разработка на AI приложения, базирани на LLM, от идеята, прототипирането, тестването, оценката до внедряване в продукция и мониторинг. Той прави инженерството на prompt-ове много по-лесно и ви позволява да създавате LLM приложения с качество за продукция. +**Prompt flow** е набор от инструменти за разработка, създаден за опростяване на целия цикъл на разработка на AI приложения, базирани на LLM, от идеен замисъл, прототипиране, тестване, оценка до внедряване в продукция и мониторинг. Той прави инженерството на prompts много по-лесно и ви позволява да изграждате LLM приложения с качество за продукция. -Prompt flow може да се свърже с OpenAI, Azure OpenAI Service и персонализирани модели (Huggingface, локални LLM/SLM). Надяваме се да внедрим квантования ONNX модел на Phi-3.5 в локални приложения. Prompt flow може да ни помогне по-добре да планираме бизнеса си и да завършим локални решения, базирани на Phi-3.5. В този пример ще комбинираме ONNX Runtime GenAI Library, за да завършим Prompt flow решение, базирано на Windows GPU. +Prompt flow може да се свърже с OpenAI, Azure OpenAI Service и персонализирани модели (Huggingface, локални LLM/SLM). Надяваме се да внедрим квантования ONNX модел на Phi-3.5 в локални приложения. Prompt flow може да ни помогне да планираме по-добре нашия бизнес и да завършим локални решения базирани на Phi-3.5. В този пример ще комбинираме ONNX Runtime GenAI Library, за да завършим решението Prompt flow базирано на Windows GPU. ## **Инсталация** @@ -20,17 +20,17 @@ Prompt flow може да се свърже с OpenAI, Azure OpenAI Service и Прочетете това ръководство за настройка на ONNX Runtime GenAI за Windows GPU [кликнете тук](./ORTWindowGPUGuideline.md) -### **Настройка на Prompt flow във VSCode** +### **Настройка на Prompt flow в VSCode** -1. Инсталирайте Prompt flow разширението за VS Code +1. Инсталирайте разширението Prompt flow за VS Code ![pfvscode](../../../../../../translated_images/bg/pfvscode.eff93dfc66a42cbe.webp) -2. След инсталиране на Prompt flow разширението за VS Code, кликнете върху разширението и изберете **Installation dependencies**, следвайте това ръководство, за да инсталирате Prompt flow SDK във вашата среда +2. След инсталиране на разширението Prompt flow за VS Code, кликнете върху разширението и изберете **Installation dependencies** следвайте това ръководство, за да инсталирате Prompt flow SDK в вашата среда ![pfsetup](../../../../../../translated_images/bg/pfsetup.b46e93096f5a254f.webp) -3. Изтеглете [примерния код](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) и го отворете с VS Code +3. Изтеглете [Примерен код](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) и използвайте VS Code, за да отворите този пример ![pfsample](../../../../../../translated_images/bg/pfsample.8d89e70584ffe7c4.webp) @@ -38,7 +38,7 @@ Prompt flow може да се свърже с OpenAI, Azure OpenAI Service и ![pfdag](../../../../../../translated_images/bg/pfdag.264a77f7366458ff.webp) - Отворете **chat_phi3_ort.py**, за да промените местоположението на вашия Phi-3.5-instruct ONNX модел +Отворете **chat_phi3_ort.py**, за да промените местоположението на вашия Phi-3.5-instruct ONNX модел ![pfphi](../../../../../../translated_images/bg/pfphi.72da81d74244b45f.webp) @@ -48,11 +48,11 @@ Prompt flow може да се свърже с OpenAI, Azure OpenAI Service и ![pfv](../../../../../../translated_images/bg/pfv.ba8a81f34b20f603.webp) -след това кликнете и го стартирайте за тест +След като кликнете, стартирайте го за тест ![pfflow](../../../../../../translated_images/bg/pfflow.4e1135a089b1ce1b.webp) -1. Можете да стартирате batch в терминала, за да проверите повече резултати +1. Можете да стартирате пакетно през терминала, за да проверите повече резултати ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Можете да видите резултатите в браузъра по подразбиране +Можете да прегледате резултатите в браузъра по подразбиране ![pfresult](../../../../../../translated_images/bg/pfresult.c22c826f8062d7cb.webp) -**Отказ от отговорност**: -Този документ е преведен с помощта на AI преводаческа услуга [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод. \ No newline at end of file +--- + + +**Отказ от отговорност**: +Този документ е преведен с помощта на AI преводачески услуга [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод. + \ No newline at end of file diff --git a/translations/bn/.co-op-translator.json b/translations/bn/.co-op-translator.json index 64c152e7e..e9c0aa5f8 100644 --- a/translations/bn/.co-op-translator.json +++ b/translations/bn/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:18:00+00:00", + "translation_date": "2026-07-29T17:00:08+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "bn" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:58:50+00:00", + "translation_date": "2026-07-29T17:00:28+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "bn" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:58:32+00:00", + "translation_date": "2026-07-29T16:59:37+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "bn" }, diff --git a/translations/bn/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/bn/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 40b79e527..abd5af7c0 100644 --- a/translations/bn/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/bn/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **কিভাবে Model Builder ব্যবহার করে Phi-3.5 কে কোয়ান্টাইজ করবেন** +# **onnxruntime এর জন্য Generative AI এক্সটেনশন ব্যবহার করে Phi পরিবার কোয়ান্টাইজ করা** -Model Builder এখন Phi-3.5 Instruct এবং Phi-3.5-Vision এর জন্য ONNX মডেল কোয়ান্টাইজেশন সমর্থন করে। +## **onnxruntime এর জন্য Generative AI এক্সটেনশন কি?** + +এই এক্সটেনশনটি আপনাকে ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) দিয়ে জেনারেটিভ AI চালাতে সাহায্য করে। এটি ONNX মডেলগুলোর জন্য জেনারেটিভ AI লুপ প্রদান করে, যার মধ্যে রয়েছে ONNX Runtime ইনফারেন্স, লগিট প্রসেসিং, সার্চ এবং স্যাম্পলিং, এবং KV ক্যাশ ম্যানেজমেন্ট। ডেভেলপাররা একটি উচ্চ স্তরের generate() মেথড কল করতে পারেন, অথবা মডেলের প্রতিটি পুনরাবৃত্তি লুপে চালাতে পারেন, এক সময়ে একটি টোকেন জেনারেট করে, এবং প্রয়োজনে লুপের মধ্যে জেনারেশন প্যারামিটারগুলো আপডেট করতে পারেন। এতে greedy/beam সার্চ এবং TopP, TopK স্যাম্পলিং সমর্থন রয়েছে টোকেন সিকোয়েন্স জেনারেট করার জন্য এবং ইনবিল্ট লগিট প্রসেসিং যেমন repetition penalties রয়েছে। আপনি সহজেই কাস্টম স্কোরিংও যোগ করতে পারেন। + +অ্যাপ্লিকেশন স্তরে, আপনি C++/ C# / Python ব্যবহার করে Generative AI এক্সটেনশন দিয়ে অ্যাপ্লিকেশন তৈরি করতে পারেন। মডেল স্তরে, আপনি এটি ব্যবহার করে ফাইন-টিউনড মডেলগুলো মের্জ করতে এবং সংশ্লিষ্ট কোয়ান্টিটেটিভ ডিপ্লয়মেন্ট কাজ করতে পারেন। + + +## **onnxruntime এর জন্য Generative AI এক্সটেনশন ব্যবহার করে Phi-3.5 কোয়ান্টাইজ করা** + +### **সমর্থিত মডেল** + +onnxruntime এর জন্য Generative AI এক্সটেনশন Microsoft Phi, Google Gemma, Mistral, Meta LLaMA এর কোয়ান্টাইজেশন রূপান্তর সমর্থন করে। + + +### **onnxruntime এর জন্য Generative AI এক্সটেনশনের Model Builder** + +Model Builder অনেক দ্রুততর করে অপ্টিমাইজড এবং কোয়ান্টাইজড ONNX মডেল তৈরি করতে যা ONNX Runtime generate() API দিয়ে চালানো যায়। + +Model Builder এর মাধ্যমে, আপনি মডেলকে INT4, INT8, FP16, FP32 তে কোয়ান্টাইজ করতে পারেন এবং CPU, CUDA, DirectML, Mobile ইত্যাদি বিভিন্ন হার্ডওয়্যার অ্যাক্সিলারেশন পদ্ধতির সংমিশ্রণ করতে পারেন। + +Model Builder ব্যবহার করতে হলে আপনাকে ইনস্টল করতে হবে + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +ইনস্টলেশনের পরে, আপনি টার্মিনাল থেকে Model Builder স্ক্রিপ্ট চালিয়ে মডেল ফরম্যাট এবং কোয়ান্টাইজেশন রূপান্তর করতে পারেন। + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +প্রাসঙ্গিক প্যারামিটারগুলো বুঝুন + +1. **model_name** এটি Hugging face এর মডেল, যেমন microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct ইত্যাদি। এটি আপনার মডেলের সংরক্ষিত পথও হতে পারে। + +2. **path_to_output_folder** কোয়ান্টাইজড রূপান্তরের সংরক্ষণের পথ + +3. **execution_provider** বিভিন্ন হার্ডওয়্যার অ্যাক্সিলারেশন সমর্থন, যেমন cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** আমরা মডেলটি Hugging face থেকে ডাউনলোড করি এবং স্থানীয়ভাবে ক্যাশ করি + + + + +***মন্তব্যঃ*** + +## **Model Builder দিয়ে Phi-3.5 কোয়ান্টাইজ করা কিভাবে করবেন** + +Model Builder এখন Phi-3.5 Instruct এবং Phi-3.5-Vision এর ONNX মডেল কোয়ান্টাইজেশন সমর্থন করে ### **Phi-3.5-Instruct** -**CPU ত্বরান্বিত কোয়ান্টাইজড INT4 রূপান্তর** + +**কোয়ান্টাইজড INT 4 এর CPU অ্যাক্সিলারেটেড রূপান্তর** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA ত্বরান্বিত কোয়ান্টাইজড INT4 রূপান্তর** +**কোয়ান্টাইজড INT 4 এর CUDA অ্যাক্সিলারেটেড রূপান্তর** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. models ফোল্ডারে microsoft/Phi-3.5-vision-instruct ডাউনলোড করুন +2. microsoft/Phi-3.5-vision-instruct মডেল ফোল্ডারে ডাউনলোড করুন [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. নিচের ফাইলগুলো আপনার Phi-3.5-vision-instruct ফোল্ডারে ডাউনলোড করুন +3. নিম্নলিখিত ফাইলগুলো আপনার Phi-3.5-vision-instruct ফোল্ডারে ডাউনলোড করুন - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. models ফোল্ডারে এই ফাইলটি ডাউনলোড করুন + +4. এই ফাইলটি মডেল ফোল্ডারে ডাউনলোড করুন [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. টার্মিনালে যান - FP32 সহ ONNX সাপোর্ট রূপান্তর করুন + FP32 দিয়ে ONNX সমর্থন রূপান্তর করুন + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **দ্রষ্টব্য:** -1. Model Builder বর্তমানে Phi-3.5-Instruct এবং Phi-3.5-Vision রূপান্তর সমর্থন করে, কিন্তু Phi-3.5-MoE সমর্থন করে না। +### **মন্তব্যঃ** + +1. Model Builder বর্তমানে Phi-3.5-Instruct এবং Phi-3.5-Vision রূপান্তর সমর্থন করে, কিন্তু Phi-3.5-MoE সমর্থন করে না + +2. ONNX এর কোয়ান্টাইজড মডেল ব্যবহার করতে, আপনি এটিকে Generative AI এক্সটেনশন for onnxruntime SDK-এর মাধ্যমে ব্যবহার করতে পারেন + +3. আমাদের আরও জবাবদিহি AI বিবেচনা করতে হবে, সুতরাং মডেল কোয়ান্টাইজেশন রূপান্তরের পর অধিক কার্যকর ফলাফল পরীক্ষার পরামর্শ দেওয়া হয় -2. ONNX এর কোয়ান্টাইজড মডেল ব্যবহার করতে, আপনি Generative AI extensions for onnxruntime SDK এর মাধ্যমে এটি ব্যবহার করতে পারেন। +4. CPU INT4 মডেল কোয়ান্টাইজ করে আমরা এটিকে Edge ডিভাইসে ডিপ্লয় করতে পারি, যা ভালো অ্যাপ্লিকেশন স্কেনারিও রয়েছে, তাই আমরা Phi-3.5-Instruct INT 4 এর আশেপাশে সম্পন্ন করেছি -3. আরও দায়িত্বশীল AI বিবেচনা করার জন্য, মডেল কোয়ান্টাইজেশন রূপান্তরের পর আরও কার্যকর ফলাফল পরীক্ষা করার পরামর্শ দেওয়া হয়। -4. CPU INT4 মডেল কোয়ান্টাইজ করে আমরা এটিকে Edge Device এ ডিপ্লয় করতে পারি, যা আরও ভালো অ্যাপ্লিকেশন পরিস্থিতির জন্য উপযোগী, তাই আমরা Phi-3.5-Instruct এর INT4 এর আশেপাশে কাজ সম্পন্ন করেছি। +## **উপকরণ সমূহ** -## **সংশ্লিষ্ট রিসোর্স** +1. onnxruntime এর জন্য Generative AI এক্সটেনশন সম্পর্কে আরো জানুন [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. Generative AI extensions for onnxruntime সম্পর্কে আরও জানুন [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntime এর জন্য Generative AI এক্সটেনশন GitHub রিপো [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub রিপোজিটরি [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**অস্বীকৃতি**: -এই নথিটি AI অনুবাদ সেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনূদিত হয়েছে। আমরা যথাসাধ্য সঠিকতার চেষ্টা করি, তবে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার নিজস্ব ভাষায়ই কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ গ্রহণ করার পরামর্শ দেওয়া হয়। এই অনুবাদের ব্যবহারে সৃষ্ট কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়ী নই। \ No newline at end of file + +**অস্বীকৃতি**: +এই নথিটি AI অনুবাদ পরিষেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই। + \ No newline at end of file diff --git a/translations/bn/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/bn/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 886768eb4..e52bd8b34 100644 --- a/translations/bn/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/bn/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,54 +1,54 @@ -# Windows GPU ব্যবহার করে Phi-3.5-Instruct ONNX সহ Prompt flow সলিউশন তৈরি করা +# Windows GPU ব্যবহার করে Phi-3.5-Instruct ONNX সহ Prompt flow সমাধান তৈরি করা -নিম্নলিখিত ডকুমেন্টটি Phi-3 মডেলের উপর ভিত্তি করে AI অ্যাপ্লিকেশন তৈরি করার জন্য ONNX (Open Neural Network Exchange) সহ PromptFlow ব্যবহারের একটি উদাহরণ। +নিম্নলিখিত ডকুমেন্টটি Phi-3 মডেল ভিত্তিক AI অ্যাপ্লিকেশন উন্নয়নের জন্য ONNX (Open Neural Network Exchange) সহ PromptFlow কীভাবে ব্যবহার করবেন তার একটি উদাহরণ। -PromptFlow হল একটি ডেভেলপমেন্ট টুলসের স্যুট যা LLM-ভিত্তিক (Large Language Model) AI অ্যাপ্লিকেশনগুলোর সম্পূর্ণ ডেভেলপমেন্ট সাইকেলকে সহজতর করার জন্য ডিজাইন করা হয়েছে, আইডিয়া থেকে প্রোটোটাইপিং, টেস্টিং এবং মূল্যায়ন পর্যন্ত। +PromptFlow হল একটি উন্নয়ন সরঞ্জামের স্যুট যা LLM-ভিত্তিক (Large Language Model) AI অ্যাপ্লিকেশনগুলির আইডিয়া থেকে প্রোটোটাইপিং এবং পরীক্ষণ এবং মূল্যায়ন পর্যন্ত শেষ থেকে শেষ উন্নয়ন চক্র সহজ করার জন্য ডিজাইন করা হয়েছে। -PromptFlow কে ONNX এর সাথে ইন্টিগ্রেট করে ডেভেলপাররা করতে পারেন: +PromptFlow কে ONNX এর সাথে সংযুক্ত করে, ডেভেলপাররা করতে পারেন: -- মডেল পারফরম্যান্স অপ্টিমাইজ করা: ONNX ব্যবহার করে দক্ষ মডেল ইনফারেন্স এবং ডিপ্লয়মেন্ট। -- ডেভেলপমেন্ট সহজতর করা: PromptFlow ব্যবহার করে ওয়ার্কফ্লো ম্যানেজ করা এবং পুনরাবৃত্তিমূলক কাজগুলো অটোমেট করা। -- সহযোগিতা বাড়ানো: একটি একক ডেভেলপমেন্ট পরিবেশ প্রদান করে টিম মেম্বারদের মধ্যে ভালো সহযোগিতা নিশ্চিত করা। +- মডেল পারফরম্যান্স অপ্টিমাইজ করুন: দক্ষ মডেল ইনফারেন্স এবং ডিপ্লয়মেন্টের জন্য ONNX ব্যবহার করুন। +- উন্নয়ন সহজ করুন: ওয়ার্কফ্লো পরিচালনা এবং পুনরাবৃত্তি কাজ স্বয়ংক্রিয় করার জন্য PromptFlow ব্যবহার করুন। +- সহযোগিতা বাড়ান: একটি ঐকমত্যবদ্ধ উন্নয়ন পরিবেশ প্রদান করে দলের সদস্যদের মধ্যে ভাল সহযোগিতা সহজ করুন। -**Prompt flow** হল একটি ডেভেলপমেন্ট টুলসের স্যুট যা LLM-ভিত্তিক AI অ্যাপ্লিকেশনগুলোর সম্পূর্ণ ডেভেলপমেন্ট সাইকেলকে সহজতর করে, আইডিয়া, প্রোটোটাইপিং, টেস্টিং, মূল্যায়ন থেকে প্রোডাকশন ডিপ্লয়মেন্ট এবং মনিটরিং পর্যন্ত। এটি প্রম্পট ইঞ্জিনিয়ারিংকে অনেক সহজ করে তোলে এবং আপনাকে প্রোডাকশন মানের LLM অ্যাপ তৈরি করতে সাহায্য করে। +**Prompt flow** হল একটি উন্নয়ন সরঞ্জামের স্যুট যা LLM-ভিত্তিক AI অ্যাপ্লিকেশনগুলির আইডিয়া, প্রোটোটাইপিং, পরীক্ষণ, মূল্যায়ন থেকে উৎপাদন ডিপ্লয়মেন্ট এবং মনিটরিং পর্যন্ত শেষ থেকে শেষ উন্নয়ন চক্র সহজ করার জন্য ডিজাইন করা হয়েছে। এটি প্রম্পট ইঞ্জিনিয়ারিং অনেক সহজ করে তোলে এবং আপনাকে উৎপাদন মানের সঙ্গে LLM অ্যাপ তৈরি করতে সক্ষম করে। -Prompt flow OpenAI, Azure OpenAI Service, এবং কাস্টমাইজযোগ্য মডেল (Huggingface, লোকাল LLM/SLM) এর সাথে সংযুক্ত হতে পারে। আমরা Phi-3.5 এর কোয়ান্টাইজড ONNX মডেল লোকাল অ্যাপ্লিকেশনে ডিপ্লয় করার আশা করছি। Prompt flow আমাদের ব্যবসা আরও ভালোভাবে পরিকল্পনা করতে এবং Phi-3.5 ভিত্তিক লোকাল সলিউশন সম্পন্ন করতে সাহায্য করবে। এই উদাহরণে, আমরা Windows GPU ভিত্তিক Prompt flow সলিউশন সম্পন্ন করতে ONNX Runtime GenAI লাইব্রেরি ব্যবহার করব। +Prompt flow OpenAI, Azure OpenAI Service, এবং কাস্টমাইজযোগ্য মডেল (Huggingface, লোকাল LLM/SLM) এর সাথে সংযোগ করতে পারে। আমরা আশা করি Phi-3.5 এর কোয়ান্টাইজড ONNX মডেল লোকাল অ্যাপ্লিকেশনগুলিতে ডিপ্লয় করব। Prompt flow আমাদের ব্যবসা আরও ভাল পরিকল্পনা করতে এবং Phi-3.5 ভিত্তিক লোকাল সমাধানগুলি সম্পূর্ণ করতে সাহায্য করতে পারে। এই উদাহরণে, আমরা ONNX Runtime GenAI লাইব্রেরি একত্রিত করে Windows GPU ভিত্তিক Prompt flow সমাধান সম্পূর্ণ করব। ## **ইনস্টলেশন** ### **Windows GPU এর জন্য ONNX Runtime GenAI** -Windows GPU এর জন্য ONNX Runtime GenAI সেটআপ করার নির্দেশিকা পড়তে [এখানে ক্লিক করুন](./ORTWindowGPUGuideline.md) +Windows GPU এর জন্য ONNX Runtime GenAI সেট করতে এই নির্দেশিকা পড়ুন [click here](./ORTWindowGPUGuideline.md) -### **VSCode এ Prompt flow সেটআপ করা** +### **VSCode এ Prompt flow সেট আপ করুন** -1. Prompt flow VS Code এক্সটেনশন ইনস্টল করুন +1. Prompt flow VS Code Extension ইনস্টল করুন ![pfvscode](../../../../../../translated_images/bn/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code এক্সটেনশন ইনস্টল করার পর, এক্সটেনশনটি ক্লিক করুন এবং **Installation dependencies** নির্বাচন করুন, এই নির্দেশিকা অনুসরণ করে আপনার পরিবেশে Prompt flow SDK ইনস্টল করুন +2. Prompt flow VS Code Extension ইনস্টল করার পরে, এক্সটেনশনটি ক্লিক করুন, এবং **Installation dependencies** নির্বাচন করুন, এই নির্দেশিকা অনুসরণ করে আপনার পরিবেশে Prompt flow SDK ইনস্টল করুন ![pfsetup](../../../../../../translated_images/bn/pfsetup.b46e93096f5a254f.webp) -3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ডাউনলোড করুন এবং VS Code দিয়ে এই স্যাম্পলটি খুলুন +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ডাউনলোড করুন এবং VS Code দিয়ে এই স্যাম্পল খুলুন ![pfsample](../../../../../../translated_images/bn/pfsample.8d89e70584ffe7c4.webp) -4. **flow.dag.yaml** খুলে আপনার Python পরিবেশ নির্বাচন করুন +4. আপনার Python পরিবেশ নির্বাচন করতে **flow.dag.yaml** খুলুন ![pfdag](../../../../../../translated_images/bn/pfdag.264a77f7366458ff.webp) - **chat_phi3_ort.py** খুলে আপনার Phi-3.5-instruct ONNX মডেলের অবস্থান পরিবর্তন করুন + আপনার Phi-3.5-instruct ONNX মডেল অবস্থান পরিবর্তন করার জন্য **chat_phi3_ort.py** খুলুন ![pfphi](../../../../../../translated_images/bn/pfphi.72da81d74244b45f.webp) -5. আপনার prompt flow চালিয়ে পরীক্ষা করুন +5. আপনার prompt flow টেস্ট করার জন্য রান করুন -**flow.dag.yaml** খুলে ভিজ্যুয়াল এডিটর ক্লিক করুন +**flow.dag.yaml** খুলুন এবং ভিজ্যুয়াল এডিটর ক্লিক করুন ![pfv](../../../../../../translated_images/bn/pfv.ba8a81f34b20f603.webp) -এটি ক্লিক করার পর চালিয়ে পরীক্ষা করুন +এটি ক্লিক করার পর, টেস্ট করার জন্য রান করুন ![pfflow](../../../../../../translated_images/bn/pfflow.4e1135a089b1ce1b.webp) @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -আপনি আপনার ডিফল্ট ব্রাউজারে ফলাফল দেখতে পারবেন +আপনি আপনার ডিফল্ট ব্রাউজারে ফলাফল পরীক্ষা করতে পারেন ![pfresult](../../../../../../translated_images/bn/pfresult.c22c826f8062d7cb.webp) -**অস্বীকৃতি**: -এই নথিটি AI অনুবাদ সেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনূদিত হয়েছে। আমরা যথাসাধ্য সঠিকতার চেষ্টা করি, তবে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার নিজস্ব ভাষায়ই কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ গ্রহণ করার পরামর্শ দেওয়া হয়। এই অনুবাদের ব্যবহারে সৃষ্ট কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়ী নই। \ No newline at end of file +--- + + +**অস্বীকৃতি**: +এই নথিটি AI অনুবাদ পরিষেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই। + \ No newline at end of file diff --git a/translations/bn/md/03.FineTuning/FineTuning_MLX.md b/translations/bn/md/03.FineTuning/FineTuning_MLX.md index 4153b0891..707db244e 100644 --- a/translations/bn/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/bn/md/03.FineTuning/FineTuning_MLX.md @@ -1,14 +1,17 @@ -# **Apple MLX Framework দিয়ে Phi-3 ফাইন-টিউনিং** +# **অ্যাপল MLX ফ্রেমওয়ার্ক দিয়ে Phi-3 ফাইন-টিউনিং** -আমরা Apple MLX ফ্রেমওয়ার্কের কমান্ড লাইন ব্যবহার করে Lora এর সাথে মিলিয়ে ফাইন-টিউনিং সম্পন্ন করতে পারি। (যদি আপনি MLX Framework এর কাজ সম্পর্কে আরও জানতে চান, অনুগ্রহ করে [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md) পড়ুন) +আমরা অ্যাপল MLX ফ্রেমওয়ার্ক কমান্ড লাইনের মাধ্যমে লোরা সহিত ফাইন-টিউনিং সম্পন্ন করতে পারি। (আপনি যদি MLX ফ্রেমওয়ার্কের অপারেশন সম্পর্কে আরও জানতে চান, অনুগ্রহ করে পড়ুন [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)) -## **1. ডেটা প্রস্তুতি** -ডিফল্ট হিসেবে, MLX Framework ট্রেন, টেস্ট, এবং ইভ্যাল এর জন্য jsonl ফরম্যাট চায়, এবং এটি Lora এর সাথে মিলিয়ে ফাইন-টিউনিং কাজ সম্পন্ন করে। +## **১. ডেটা প্রস্তুতি** -### ***Note:*** +ডিফল্টরূপে, MLX ফ্রেমওয়ার্ক ট্রেন, টেস্ট এবং ইভ্যালের jsonl ফরম্যাট দাবি করে, এবং লোরা সহিত মিলিয়ে ফাইন-টিউনিং কাজ সম্পন্ন করে। + + +### ***বিঃদ্রঃ:*** + +১. jsonl ডেটা ফরম্যাট ： -1. jsonl ডেটা ফরম্যাটঃ ```json @@ -19,15 +22,17 @@ ``` -2. আমাদের উদাহরণে [TruthfulQA এর ডেটা](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv) ব্যবহার করা হয়েছে, কিন্তু ডেটার পরিমাণ তুলনামূলকভাবে কম, তাই ফাইন-টিউনিং এর ফলাফল সর্বোত্তম নাও হতে পারে। শিক্ষার্থীদের পরামর্শ দেওয়া হয় তাদের নিজস্ব পরিস্থিতির ভিত্তিতে ভালো ডেটা ব্যবহার করে কাজ সম্পন্ন করতে। +২. আমাদের উদাহরণ ব্যবহার করেছে [TruthfulQA-এর ডেটা](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv), কিন্তু ডেটার পরিমাণ অপেক্ষাকৃত কম, তাই ফাইন-টিউনিং ফলাফল সর্বোত্তম নাও হতে পারে। শেখানরদের জন্য সুপারিশ করা হয় যে তারা তাদের নিজস্ব পরিস্থিতির উপর ভিত্তি করে উন্নত ডেটা ব্যবহার করে কাজ সম্পন্ন করুন। + +৩. ডেটা ফরম্যাট Phi-3 টেমপ্লেটের সাথে মিলেছে + +অনুগ্রহ করে এই [লিঙ্ক](../../../../code/04.Finetuning/mlx) থেকে ডেটা ডাউনলোড করুন, ***data*** ফোল্ডারে সব .jsonl অন্তর্ভুক্ত থাকবে -3. ডেটা ফরম্যাট Phi-3 টেমপ্লেটের সাথে মিলিয়ে তৈরি করা হয়েছে। -অনুগ্রহ করে এই [লিঙ্ক](../../../../code/04.Finetuning/mlx) থেকে ডেটা ডাউনলোড করুন, ***data*** ফোল্ডারের সব .jsonl ফাইল অন্তর্ভুক্ত করতে ভুলবেন না। +## **২. আপনার টার্মিনালে ফাইন-টিউনিং** -## **2. টার্মিনালে ফাইন-টিউনিং করা** +অনুগ্রহ করে টার্মিনালে এই কমান্ড চালান -টার্মিনালে নিচের কমান্ডটি চালান ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` -## ***Note:*** -1. এটি LoRA ফাইন-টিউনিং, MLX ফ্রেমওয়ার্ক QLoRA প্রকাশ করেনি। +## ***বিঃদ্রঃ:*** + +১. এটি LoRA ফাইন-টিউনিং, MLX ফ্রেমওয়ার্ক QLoRA প্রকাশ করেনি + +২. আপনি config.yaml-এ কিছু আর্গুমেন্ট পরিবর্তন করতে পারেন, যেমন -2. আপনি config.yaml এ কিছু আর্গুমেন্ট পরিবর্তন করতে পারেন, যেমন ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -টার্মিনালে নিচের কমান্ডটি চালান +অনুগ্রহ করে টার্মিনালে এই কমান্ড চালান + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. ফাইন-টিউনিং অ্যাডাপ্টার টেস্ট করা** -টার্মিনালে ফাইন-টিউনিং অ্যাডাপ্টার চালাতে পারেন, যেমন +## **৩. ফাইন-টিউনিং অ্যাডাপ্টার পরীক্ষা চালান** + +আপনি টার্মিনালে ফাইন-টিউনিং অ্যাডাপ্টার চালাতে পারেন, এই রকম + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -এবং ফলাফল তুলনা করার জন্য মূল মডেল চালান +এবং ফলাফল তুলনা করতে মূল মডেল চালান + ```bash @@ -135,9 +146,11 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -আপনি ফাইন-টিউনিং এবং মূল মডেলের ফলাফল তুলনা করে দেখতে পারেন। +আপনি ফাইন-টিউনিং এবং মূল মডেলের ফলাফল তুলনা করতে পারেন + + +## **৪. নতুন মডেল তৈরির জন্য অ্যাডাপ্টার মার্জ করুন** -## **4. নতুন মডেল তৈরির জন্য অ্যাডাপ্টার মার্জ করা** ```bash @@ -145,9 +158,10 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ``` -## **5. ollama দিয়ে কোয়ান্টাইজড ফাইন-টিউনিং মডেল চালানো** +## **৫. ollama ব্যবহার করে পরিমাণগত ফাইন-টিউনিং মডেল চালানো** + +ব্যবহারের আগে, অনুগ্রহ করে আপনার llama.cpp পরিবেশ কনফিগার করুন -ব্যবহারের আগে, আপনার llama.cpp পরিবেশ কনফিগার করুন ```bash @@ -161,13 +175,14 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***Note:*** +***বিঃদ্রঃ:*** + +১. এখন fp32, fp16 এবং INT 8 এর পরিমাণগত রূপান্তর সমর্থিত -1. এখন fp32, fp16 এবং INT 8 কোয়ান্টাইজেশন রূপান্তর সমর্থিত। +২. মার্জ করা মডেলটির tokenizer.model অনুপস্থিত, দয়া করে এটি https://huggingface.co/microsoft/Phi-3-mini-4k-instruct থেকে ডাউনলোড করুন -2. মার্জ করা মডেলে tokenizer.model নেই, এটি https://huggingface.co/microsoft/Phi-3-mini-4k-instruct থেকে ডাউনলোড করুন। +একটি [Ollma মডেল](https://ollama.com/) সেট করুন -একটি [Ollma Model](https://ollama.com/) সেট করুন। ```txt @@ -178,6 +193,7 @@ PARAMETER stop "<|end|>" টার্মিনালে কমান্ড চালান + ```bash ollama create phi3ft -f Modelfile @@ -186,7 +202,11 @@ PARAMETER stop "<|end|>" ``` -অভিনন্দন! MLX Framework দিয়ে ফাইন-টিউনিং আয়ত্ত করেছেন। +অভিনন্দন! MLX ফ্রেমওয়ার্ক দিয়ে ফাইন-টিউনিং মাস্টার করুন + +--- -**অস্বীকৃতি**: -এই নথিটি AI অনুবাদ সেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনূদিত হয়েছে। আমরা যথাসাধ্য সঠিকতার চেষ্টা করি, তবে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার নিজস্ব ভাষায়ই কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ গ্রহণ করার পরামর্শ দেওয়া হয়। এই অনুবাদের ব্যবহারে সৃষ্ট কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়ী নই। \ No newline at end of file + +**অস্বীকৃতি**: +এই নথিটি AI অনুবাদ পরিষেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই। + \ No newline at end of file diff --git a/translations/cs/.co-op-translator.json b/translations/cs/.co-op-translator.json index 153a9b67b..399d6d80e 100644 --- a/translations/cs/.co-op-translator.json +++ b/translations/cs/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:25:17+00:00", + "translation_date": "2026-07-29T16:56:08+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "cs" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:46:42+00:00", + "translation_date": "2026-07-29T16:56:59+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "cs" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:03:14+00:00", + "translation_date": "2026-07-29T16:56:27+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "cs" }, diff --git a/translations/cs/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/cs/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 8d7360cff..417867584 100644 --- a/translations/cs/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/cs/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ +# **Kvadratizace rodiny Phi pomocí rozšíření Generative AI pro onnxruntime** + +## **Co jsou rozšíření Generative AI pro onnxruntime** + +Tato rozšíření vám pomáhají spouštět generativní AI s ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Poskytují generativní AI smyčku pro ONNX modely, včetně inference s ONNX Runtime, zpracování logits, vyhledávání a vzorkování a správy KV cache. Vývojáři mohou volat metodu generate() na vysoké úrovni, nebo spouštět každou iteraci modelu v cyklu, generovat jeden token za čas a volitelně aktualizovat parametry generování uvnitř smyčky. Podporuje greedy/beam search a TopP, TopK vzorkování pro generování posloupností tokenů a vestavěné zpracování logits, jako jsou penalizace opakování. Můžete také snadno přidat vlastní skórování. + +Na aplikační úrovni můžete použít rozšíření Generative AI pro onnxruntime k vytváření aplikací v C++/ C# / Python. Na úrovni modelu je můžete použít k sloučení doladěných modelů a provádění související kvantitativní nasazovací práce. + + +## **Kvadratizace Phi-3.5 pomocí rozšíření Generative AI pro onnxruntime** + +### **Podporované modely** + +Rozšíření Generative AI pro onnxruntime podporují kvantovací konverzi Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder v rozšířeních Generative AI pro onnxruntime** + +Model Builder výrazně urychluje vytváření optimalizovaných a kvantovaných ONNX modelů, které běží s ONNX Runtime generate() API. + +Pomocí Model Builderu můžete kvantizovat model na INT4, INT8, FP16, FP32 a kombinovat různé metody hardwarové akcelerace jako CPU, CUDA, DirectML, Mobile atd. + +Pro použití Model Builderu musíte nainstalovat + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Po instalaci můžete spustit skript Model Builder z terminálu pro provedení konverze formátu modelu a kvantizace. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Pochopení souvisejících parametrů + +1. **model_name** Toto je model na Hugging face, například microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct atd. Může to být také cesta, kde model uchováváte + +2. **path_to_output_folder** Cesta pro uložení kvantované konverze + +3. **execution_provider** Podpora různých hardwarových akcelerací, například cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Stahujeme model z Hugging face a ukládáme ho do lokální cache + + + + +***Poznámka：*** + ## **Jak používat Model Builder pro kvantizaci Phi-3.5** Model Builder nyní podporuje kvantizaci ONNX modelů pro Phi-3.5 Instruct a Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU akcelerovaná konverze kvantizovaného INT4** + +**CPU akcelerovaná konverze kvantovaných INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA akcelerovaná konverze kvantizovaného INT4** +**CUDA akcelerovaná konverze kvantovaných INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Stáhněte microsoft/Phi-3.5-vision-instruct do složky models +2. Stáhněte microsoft/Phi-3.5-vision-instruct do složky models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Stáhněte tyto soubory do složky Phi-3.5-vision-instruct +3. Stáhněte tyto soubory do vaší složky Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Stáhněte tento soubor do složky models + +4. Stáhněte tento soubor do složky models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Přejděte do terminálu Proveďte konverzi ONNX s podporou FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **Poznámka:** + +### **Poznámka：** 1. Model Builder momentálně podporuje konverzi Phi-3.5-Instruct a Phi-3.5-Vision, ale ne Phi-3.5-MoE -2. Pro použití kvantizovaného modelu ONNX jej můžete využít přes Generative AI extensions for onnxruntime SDK +2. Pro použití kvantizovaného ONNX modelu ho můžete použít přes Generative AI extensions for onnxruntime SDK -3. Je potřeba brát v úvahu odpovědnější AI, proto se po kvantizační konverzi modelu doporučuje provést důkladnější testování výsledků +3. Musíme se více zaměřit na odpovědnou AI, proto se doporučuje po konverzi modelu kvantizace provést efektivnější testování výsledků + +4. Kvantizací CPU INT4 modelu ho můžeme nasadit na Edge zařízení, což má lepší aplikační scénáře, takže jsme dokončili Phi-3.5-Instruct kolem INT 4 -4. Kvantizací CPU INT4 modelu jej můžeme nasadit na Edge zařízení, což nabízí lepší aplikační scénáře, proto jsme dokončili Phi-3.5-Instruct kolem INT4 ## **Zdroje** -1. Více o Generative AI extensions for onnxruntime se dozvíte na [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Naučte se více o rozšířeních Generative AI pro onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) 2. GitHub repozitář Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -**Prohlášení o vyloučení odpovědnosti**: -Tento dokument byl přeložen pomocí AI překladatelské služby [Co-op Translator](https://github.com/Azure/co-op-translator). I když usilujeme o přesnost, mějte prosím na paměti, že automatizované překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho mateřském jazyce by měl být považován za autoritativní zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoliv nedorozumění nebo nesprávné výklady vyplývající z použití tohoto překladu. \ No newline at end of file +--- + + +**Prohlášení o omezení odpovědnosti**: +Tento dokument byl přeložen pomocí AI překladatelské služby [Co-op Translator](https://github.com/Azure/co-op-translator). Přestože usilujeme o co největší přesnost, mějte prosím na paměti, že automatizované překlady mohou obsahovat chyby nebo nepřesnosti. Originální dokument v jeho mateřském jazyce by měl být považován za autoritativní zdroj. Pro kritické informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoli nedorozumění nebo nesprávné interpretace vzniklé použitím tohoto překladu. + \ No newline at end of file diff --git a/translations/cs/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/cs/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 77a8b09a5..364356f2e 100644 --- a/translations/cs/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/cs/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Pokyny pro OnnxRuntime GenAI Windows GPU** -Tyto pokyny popisují kroky pro nastavení a používání ONNX Runtime (ORT) s GPU na Windows. Jsou navrženy tak, aby vám pomohly využít akceleraci pomocí GPU pro vaše modely, čímž zlepšíte výkon a efektivitu. +Tento návod poskytuje kroky pro nastavení a použití ONNX Runtime (ORT) s GPU na Windows. Je navržen tak, aby vám pomohl využít akceleraci na GPU pro vaše modely, čímž zlepší výkon a efektivitu. -Dokument obsahuje rady ohledně: +Dokument poskytuje pokyny ohledně: -- Nastavení prostředí: Instrukce pro instalaci potřebných závislostí jako CUDA, cuDNN a ONNX Runtime. +- Nastavení prostředí: Instrukce pro instalaci nutných závislostí jako CUDA, cuDNN a ONNX Runtime. - Konfigurace: Jak nastavit prostředí a ONNX Runtime pro efektivní využití GPU zdrojů. -- Tipy na optimalizaci: Doporučení, jak doladit nastavení GPU pro nejlepší výkon. +- Tipy na optimalizaci: Rady, jak doladit nastavení GPU pro optimální výkon. ### **1. Python 3.10.x /3.11.8** - ***Poznámka*** Doporučujeme použít [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) jako vaše Python prostředí + ***Poznámka*** Doporučujeme používat [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) jako své Python prostředí ```bash @@ -20,10 +20,11 @@ Dokument obsahuje rady ohledně: ``` - ***Připomenutí*** Pokud máte nainstalovanou nějakou python ONNX knihovnu, prosím odinstalujte ji + ***Připomínka*** Pokud máte nainstalovanou nějakou python ONNX knihovnu, prosím odinstalujte ji ### **2. Instalace CMake pomocí winget** + ```bash winget install -e --id Kitware.CMake @@ -32,10 +33,11 @@ Dokument obsahuje rady ohledně: ### **3. Instalace Visual Studio 2022 - Desktop Development s C++** - ***Poznámka*** Pokud nechcete kompilovat, tento krok můžete přeskočit + ***Poznámka*** Pokud nechcete kompilovat, můžete tento krok přeskočit ![CPP](../../../../../../translated_images/cs/01.42f52a2b2aedff02.webp) + ### **4. Instalace NVIDIA ovladače** 1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ Dokument obsahuje rady ohledně: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Připomenutí*** Použijte prosím výchozí nastavení během instalace +***Připomínka*** Prosím použijte výchozí nastavení během instalace ### **5. Nastavení NVIDIA prostředí** -Zkopírujte NVIDIA CUDNN 9.4 složky lib, bin, include do NVIDIA CUDA 12.4 složek lib, bin, include +Zkopírujte NVIDIA CUDNN 9.4 složky lib, bin, include do NVIDIA CUDA 12.4 lib, bin, include -- zkopírujte soubory z *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- zkopírujte soubory z *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- zkopírujte soubory z *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- zkopírujte soubory z *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* - zkopírujte soubory z *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* + ### **6. Stažení Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Zkopírujte NVIDIA CUDNN 9.4 složky lib, bin, include do NVIDIA CUDA 12.4 slož ### **7. Spuštění InferencePhi35Instruct.ipynb** - Otevřete [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) a spusťte + Otevřete [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) a spusťte + ![RESULT](../../../../../../translated_images/cs/02.b9b06996cf7255d5.webp) + ### **8. Kompilace ORT GenAI GPU** + ***Poznámka*** - 1. Nejprve odinstalujte všechny balíčky související s onnx, onnxruntime a onnxruntime-genai + 1. Nejprve odinstalujte všechny knihovny onnx, onnxruntime a onnxruntime-genai + ```bash pip list ``` - Poté odinstalujte všechny onnxruntime knihovny, například + Poté odinstalujte všechny knihovny onnxruntime, např. + ```bash @@ -100,13 +109,17 @@ Zkopírujte NVIDIA CUDNN 9.4 složky lib, bin, include do NVIDIA CUDA 12.4 slož ``` - 2. Zkontrolujte podporu rozšíření ve Visual Studiu + 2. Zkontrolujte podporu rozšíření Visual Studio - Zkontrolujte složku C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, zda obsahuje C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Zkontrolujte ve složce C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, zda je nalezena složka C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Pokud tam není, zkontrolujte jiné složky CUDA toolkit a zkopírujte složku visual_studio_integration a její obsah do C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Pokud není nalezena, zkontrolujte jiné složky ovladače Cuda toolkit a zkopírujte složku visual_studio_integration a její obsah do C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Pokud nechcete kompilovat, můžete tento krok přeskočit - - Pokud nechcete kompilovat, tento krok můžete přeskočit ```bash @@ -114,16 +127,17 @@ Zkopírujte NVIDIA CUDNN 9.4 složky lib, bin, include do NVIDIA CUDA 12.4 slož ``` - - Stáhněte [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) + - Stažení [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Rozbalte onnxruntime-win-x64-gpu-1.19.2.zip, přejmenujte složku na **ort** a zkopírujte ji do onnxruntime-genai + - Rozbalte onnxruntime-win-x64-gpu-1.19.2.zip, přejmenujte ho na **ort** a zkopírujte složku ort do onnxruntime-genai - - Pomocí Windows Terminálu otevřete Developer Command Prompt pro VS 2022 a přejděte do onnxruntime-genai + - Pomocí Windows Terminal se přepněte do Developer Command Prompt pro VS 2022 a přejděte do onnxruntime-genai ![RESULT](../../../../../../translated_images/cs/03.b83ce473d5ff9b9b.webp) - - Kompilujte s vaším python prostředím + - Kompilujte jej s vaším Python prostředím + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Zkopírujte NVIDIA CUDNN 9.4 složky lib, bin, include do NVIDIA CUDA 12.4 slož ``` -**Prohlášení o vyloučení odpovědnosti**: -Tento dokument byl přeložen pomocí AI překladatelské služby [Co-op Translator](https://github.com/Azure/co-op-translator). I když usilujeme o přesnost, mějte prosím na paměti, že automatické překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho mateřském jazyce by měl být považován za závazný zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoliv nedorozumění nebo nesprávné výklady vyplývající z použití tohoto překladu. \ No newline at end of file +--- + + +**Prohlášení o omezení odpovědnosti**: +Tento dokument byl přeložen pomocí AI překladatelské služby [Co-op Translator](https://github.com/Azure/co-op-translator). Přestože usilujeme o co největší přesnost, mějte prosím na paměti, že automatizované překlady mohou obsahovat chyby nebo nepřesnosti. Originální dokument v jeho mateřském jazyce by měl být považován za autoritativní zdroj. Pro kritické informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoli nedorozumění nebo nesprávné interpretace vzniklé použitím tohoto překladu. + \ No newline at end of file diff --git a/translations/cs/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/cs/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 26976c2f2..44c26ddf9 100644 --- a/translations/cs/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/cs/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,24 +1,24 @@ -# Použití Windows GPU pro vytvoření řešení Prompt flow s Phi-3.5-Instruct ONNX +# Použití Windows GPU k vytvoření řešení Prompt flow s Phi-3.5-Instruct ONNX Následující dokument je příkladem, jak používat PromptFlow s ONNX (Open Neural Network Exchange) pro vývoj AI aplikací založených na modelech Phi-3. -PromptFlow je sada vývojových nástrojů navržených k zefektivnění celého vývojového cyklu AI aplikací založených na LLM (Large Language Model), od nápadu a prototypování až po testování a vyhodnocení. +PromptFlow je sada vývojářských nástrojů navržených ke zjednodušení kompletního vývojového cyklu AI aplikací založených na LLM (Large Language Model), od nápadu a prototypování po testování a hodnocení. Integrací PromptFlow s ONNX mohou vývojáři: - Optimalizovat výkon modelu: Využít ONNX pro efektivní inferenci a nasazení modelu. -- Zjednodušit vývoj: Použít PromptFlow k řízení pracovního postupu a automatizaci opakujících se úkolů. -- Zlepšit spolupráci: Usnadnit týmovou spolupráci díky jednotnému vývojovému prostředí. +- Zjednodušit vývoj: Používat PromptFlow pro správu workflow a automatizaci opakujících se úkolů. +- Zlepšit spolupráci: Facilituje lepší spolupráci mezi členy týmu díky sjednocenému vývojovému prostředí. -**Prompt flow** je sada vývojových nástrojů navržených k zefektivnění celého vývojového cyklu AI aplikací založených na LLM, od nápadu, prototypování, testování, vyhodnocení až po nasazení do produkce a monitoring. Výrazně usnadňuje prompt engineering a umožňuje vytvářet LLM aplikace s kvalitou vhodnou pro produkci. +**Prompt flow** je sada vývojářských nástrojů určených ke zefektivnění kompletního vývojového cyklu AI aplikací založených na LLM, od nápadu, prototypování, testování, hodnocení až po produkční nasazení a monitorování. Usnadňuje prompt engineering a umožňuje vytvářet aplikace LLM s produkční kvalitou. -Prompt flow může být propojen s OpenAI, Azure OpenAI Service a přizpůsobitelnými modely (Huggingface, lokální LLM/SLM). Plánujeme nasadit kvantovaný ONNX model Phi-3.5 do lokálních aplikací. Prompt flow nám pomůže lépe plánovat naše podnikání a dokončit lokální řešení založená na Phi-3.5. V tomto příkladu zkombinujeme ONNX Runtime GenAI knihovnu pro dokončení Prompt flow řešení založeného na Windows GPU. +Prompt flow může pracovat s OpenAI, Azure OpenAI Service a přizpůsobitelnými modely (Huggingface, lokální LLM/SLM). Doufáme, že nasadíme kvantovaný ONNX model Phi-3.5 do lokálních aplikací. Prompt flow nám může pomoci lépe plánovat byznys a dokončit lokální řešení založená na Phi-3.5. V tomto příkladu spojíme ONNX Runtime GenAI knihovnu k dokončení Prompt flow řešení založeného na Windows GPU. ## **Instalace** ### **ONNX Runtime GenAI pro Windows GPU** -Přečtěte si tento návod pro nastavení ONNX Runtime GenAI pro Windows GPU [klikněte zde](./ORTWindowGPUGuideline.md) +Přečtěte si tento návod ke konfiguraci ONNX Runtime GenAI pro Windows GPU [klikněte zde](./ORTWindowGPUGuideline.md) ### **Nastavení Prompt flow ve VSCode** @@ -26,11 +26,11 @@ Přečtěte si tento návod pro nastavení ONNX Runtime GenAI pro Windows GPU [k ![pfvscode](../../../../../../translated_images/cs/pfvscode.eff93dfc66a42cbe.webp) -2. Po instalaci rozšíření Prompt flow ve VS Code klikněte na rozšíření a vyberte **Installation dependencies**, podle tohoto návodu nainstalujte Prompt flow SDK do svého prostředí +2. Po instalaci rozšíření Prompt flow VS Code klikněte na rozšíření a vyberte **Installation dependencies** podle tohoto návodu nainstalujte Prompt flow SDK ve vašem prostředí ![pfsetup](../../../../../../translated_images/cs/pfsetup.b46e93096f5a254f.webp) -3. Stáhněte si [ukázkový kód](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) a otevřete ho ve VS Code +3. Stáhněte [Ukázkový kód](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) a otevřete tento vzorek ve VS Code ![pfsample](../../../../../../translated_images/cs/pfsample.8d89e70584ffe7c4.webp) @@ -38,21 +38,21 @@ Přečtěte si tento návod pro nastavení ONNX Runtime GenAI pro Windows GPU [k ![pfdag](../../../../../../translated_images/cs/pfdag.264a77f7366458ff.webp) - Otevřete **chat_phi3_ort.py** a změňte umístění vašeho Phi-3.5-instruct ONNX modelu + Otevřete **chat_phi3_ort.py** a změňte umístění Phi-3.5-instruct ONNX modelu ![pfphi](../../../../../../translated_images/cs/pfphi.72da81d74244b45f.webp) -5. Spusťte svůj prompt flow k otestování +5. Spusťte váš Prompt flow k otestování Otevřete **flow.dag.yaml** a klikněte na vizuální editor ![pfv](../../../../../../translated_images/cs/pfv.ba8a81f34b20f603.webp) -Po kliknutí spusťte test +po kliknutí spusťte test ![pfflow](../../../../../../translated_images/cs/pfflow.4e1135a089b1ce1b.webp) -1. Můžete spustit batch v terminálu pro zobrazení dalších výsledků +1. Můžete spustit dávku v terminálu a zkontrolovat více výsledků ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Výsledky si můžete prohlédnout ve svém výchozím prohlížeči +Výsledky můžete zkontrolovat ve vašem výchozím prohlížeči ![pfresult](../../../../../../translated_images/cs/pfresult.c22c826f8062d7cb.webp) -**Prohlášení o vyloučení odpovědnosti**: -Tento dokument byl přeložen pomocí AI překladatelské služby [Co-op Translator](https://github.com/Azure/co-op-translator). I když usilujeme o přesnost, mějte prosím na paměti, že automatizované překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho mateřském jazyce by měl být považován za autoritativní zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoliv nedorozumění nebo nesprávné výklady vyplývající z použití tohoto překladu. \ No newline at end of file +--- + + +**Prohlášení o omezení odpovědnosti**: +Tento dokument byl přeložen pomocí AI překladatelské služby [Co-op Translator](https://github.com/Azure/co-op-translator). Přestože usilujeme o co největší přesnost, mějte prosím na paměti, že automatizované překlady mohou obsahovat chyby nebo nepřesnosti. Originální dokument v jeho mateřském jazyce by měl být považován za autoritativní zdroj. Pro kritické informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoli nedorozumění nebo nesprávné interpretace vzniklé použitím tohoto překladu. + \ No newline at end of file diff --git a/translations/da/.co-op-translator.json b/translations/da/.co-op-translator.json index 7b32742be..fdfe8e00f 100644 --- a/translations/da/.co-op-translator.json +++ b/translations/da/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:21:43+00:00", + "translation_date": "2026-07-29T16:43:02+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "da" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:44:14+00:00", + "translation_date": "2026-07-29T16:43:39+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "da" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:01:03+00:00", + "translation_date": "2026-07-29T16:43:18+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "da" }, diff --git a/translations/da/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/da/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 8c789ad6e..8eb47bae8 100644 --- a/translations/da/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/da/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Sådan bruger du Model Builder til at kvantisere Phi-3.5** +# **Kvantificering af Phi-familien ved brug af Generative AI-udvidelser til onnxruntime** -Model Builder understøtter nu ONNX-modelkvantisering for Phi-3.5 Instruct og Phi-3.5-Vision +## **Hvad er Generative AI-udvidelser til onnxruntime** + +Disse udvidelser hjælper dig med at køre generativ AI med ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). De leverer den generative AI-løkke til ONNX-modeller, inklusive inferens med ONNX Runtime, logitsbehandling, søgning og sampling, samt KV-cachehåndtering. Udviklere kan kalde en høj-niveau generate() metode, eller køre hver iteration af modellen i en løkke, der genererer et token ad gangen, og valgfrit opdatere parametre for generering inde i løkken. Den understøtter greedy/beam-søgning og TopP, TopK-sampling til at generere tokensekvenser og indbygget logitsbehandling som gentagelsesstraf. Du kan også nemt tilføje brugerdefineret scoring. + +På applikationsniveau kan du bruge Generative AI-udvidelser til onnxruntime til at bygge applikationer med C++/ C# / Python. På modelniveau kan du bruge det til at sammenflette finjusterede modeller og udføre relateret kvantitativ udrulningsarbejde. + + +## **Kvantificering af Phi-3.5 med Generative AI-udvidelser til onnxruntime** + +### **Understøttede modeller** + +Generative AI-udvidelser til onnxruntime understøtter kvantificeringskonvertering af Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder i Generative AI-udvidelser til onnxruntime** + +Model Builder accelererer betydeligt oprettelse af optimerede og kvantificerede ONNX-modeller, som kører med ONNX Runtime generate() API. + +Gennem Model Builder kan du kvantificere modellen til INT4, INT8, FP16, FP32 og kombinere forskellige hardwareaccelerationsmetoder såsom CPU, CUDA, DirectML, Mobile osv. + +For at bruge Model Builder skal du installere + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Efter installation kan du køre Model Builder-scriptet fra terminalen for at udføre modelformat- og kvantificeringskonvertering. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Forstå de relevante parametre + +1. **model_name** Dette er modellen på Hugging face, såsom microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct osv. Det kan også være stien, hvor du opbevarer modellen + +2. **path_to_output_folder** Gemningssti for kvantificeret konvertering + +3. **execution_provider** Forskellig hardwareaccelerationsunderstøttelse, såsom cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Vi downloader modellen fra Hugging face og cacher den lokalt + + + + +***Bemærk:*** + +## **Sådan bruger du Model Builder til kvantificering af Phi-3.5** + +Model Builder understøtter nu ONNX-modelkvantificering for Phi-3.5 Instruct og Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU-accelereret konvertering til kvantiseret INT4** + +**CPU-accelereret konvertering til kvantificeret INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA-accelereret konvertering til kvantiseret INT4** +**CUDA-accelereret konvertering til kvantificeret INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Sæt miljøet op i terminalen +1. Sæt miljø i terminalen ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Download microsoft/Phi-3.5-vision-instruct i models-mappen +2. Download microsoft/Phi-3.5-vision-instruct i models folder [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Download venligst disse filer til din Phi-3.5-vision-instruct-mappe +3. Download venligst disse filer til din Phi-3.5-vision-instruct mappe - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Download denne fil til models-mappen + +4. Download denne fil til models folder [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Gå til terminalen - Konverter ONNX med FP32-understøttelse + Konverter ONNX-support med FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Bemærk:** 1. Model Builder understøtter i øjeblikket konvertering af Phi-3.5-Instruct og Phi-3.5-Vision, men ikke Phi-3.5-MoE -2. For at bruge ONNX’s kvantiserede model kan du anvende den via Generative AI extensions for onnxruntime SDK +2. For at bruge ONNX's kvantificerede model kan du bruge den via Generative AI-udvidelser til onnxruntime SDK -3. Vi skal tage mere ansvarlig AI i betragtning, så efter modelkvantiseringen anbefales det at udføre mere effektiv test af resultaterne +3. Vi skal tage mere ansvarlig AI i betragtning, så efter modelkvantificeringskonvertering anbefales det at udføre mere effektiv resultat-test + +4. Ved at kvantificere CPU INT4-modellen kan vi implementere den på Edge Device, som har bedre anvendelsesscenarier, så vi har fuldført Phi-3.5-Instruct omkring INT 4 -4. Ved at kvantisere CPU INT4-modellen kan vi implementere den på Edge-enheder, hvilket giver bedre anvendelsesscenarier, så vi har fuldført Phi-3.5-Instruct omkring INT4 ## **Ressourcer** -1. Lær mere om Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Lær mere om Generative AI-udvidelser til onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI-udvidelser til onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Ansvarsfraskrivelse**: -Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på nøjagtighed, bedes du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det oprindelige dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse. \ No newline at end of file + +**Ansvarsfraskrivelse**: +Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på nøjagtighed, skal du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse. + \ No newline at end of file diff --git a/translations/da/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/da/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 517b43305..28fa7efd1 100644 --- a/translations/da/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/da/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Retningslinje for OnnxRuntime GenAI Windows GPU** -Denne retningslinje beskriver trin til opsætning og brug af ONNX Runtime (ORT) med GPU'er på Windows. Den er designet til at hjælpe dig med at udnytte GPU-acceleration til dine modeller, hvilket forbedrer ydeevne og effektivitet. +Denne retningslinje giver trin til opsætning og brug af ONNX Runtime (ORT) med GPU'er på Windows. Den er designet til at hjælpe dig med at udnytte GPU-acceleration til dine modeller, hvilket forbedrer ydeevne og effektivitet. Dokumentet giver vejledning om: - Miljøopsætning: Instruktioner til installation af nødvendige afhængigheder som CUDA, cuDNN og ONNX Runtime. -- Konfiguration: Hvordan du konfigurerer miljøet og ONNX Runtime til effektivt at bruge GPU-ressourcer. +- Konfiguration: Hvordan man konfigurerer miljøet og ONNX Runtime til effektivt at udnytte GPU-ressourcer. - Optimeringstips: Råd om, hvordan du finjusterer dine GPU-indstillinger for optimal ydeevne. ### **1. Python 3.10.x /3.11.8** - ***Note*** Vi anbefaler at bruge [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) som dit Python-miljø + ***Bemærk*** Anbefal at bruge [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) som dit Python-miljø ```bash @@ -20,23 +20,25 @@ Dokumentet giver vejledning om: ``` - ***Reminder*** Hvis du har installeret nogen Python ONNX-biblioteker, skal du afinstallere dem + ***Påmindelse*** Hvis du har installeret nogen Python ONNX-biblioteker, skal de afinstalleres ### **2. Installer CMake med winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Installer Visual Studio 2022 - Desktop Development med C++** +### **3. Installer Visual Studio 2022 - Desktopudvikling med C++** - ***Note*** Hvis du ikke ønsker at kompilere, kan du springe dette trin over + ***Bemærk*** Hvis du ikke ønsker at kompilere, kan du springe dette trin over ![CPP](../../../../../../translated_images/da/01.42f52a2b2aedff02.webp) -### **4. Installer NVIDIA Driver** + +### **4. Installer NVIDIA-driver** 1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ Dokumentet giver vejledning om: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Brug venligst standardindstillingerne under installationen +***Påmindelse*** Brug venligst standardindstillingerne under installationsforløbet -### **5. Sæt NVIDIA-miljø** +### **5. Sæt NVIDIA-miljøvariabler** Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include -- kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- Kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- Kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- Kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Download Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,16 +76,20 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include ### **7. Kør InferencePhi35Instruct.ipynb** - Åbn [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) og kør den + Åbn [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) og kør + + +![RESULTAT](../../../../../../translated_images/da/02.b9b06996cf7255d5.webp) -![RESULT](../../../../../../translated_images/da/02.b9b06996cf7255d5.webp) ### **8. Kompiler ORT GenAI GPU** - ***Note*** + + ***Bemærk*** - 1. Afinstaller venligst først alle onnx, onnxruntime og onnxruntime-genai pakker + 1. Afinstaller venligst alle onnx, onnxruntime og onnxruntime-genai biblioteker først + ```bash pip list @@ -90,6 +98,7 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include Derefter afinstaller alle onnxruntime biblioteker, f.eks. + ```bash pip uninstall onnxruntime @@ -100,14 +109,18 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include ``` - 2. Tjek Visual Studio Extension support + 2. Tjek understøttelse af Visual Studio Extension - Kontroller i C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, at mappen C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration findes. + Tjek C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras for at sikre, at C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration findes. - Hvis den ikke findes, tjek andre CUDA toolkit driver-mapper og kopier mappen visual_studio_integration og dens indhold til C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Hvis den ikke findes, tjek andre CUDA toolkit driver-mapper og kopier visual_studio_integration-mappen og dens indhold til C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Hvis du ikke ønsker at kompilere, kan du springe dette trin over + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include - Download [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Pak onnxruntime-win-x64-gpu-1.19.2.zip ud, og omdøb mappen til **ort**, kopier derefter ort-mappen til onnxruntime-genai + - Pak onnxruntime-win-x64-gpu-1.19.2.zip ud, omdøb den til **ort**, og kopier ort-mappen til onnxruntime-genai - - Brug Windows Terminal, åbn Developer Command Prompt for VS 2022 og gå til onnxruntime-genai + - Brug Windows Terminal, gå til Developer Command Prompt for VS 2022 og skift til onnxruntime-genai -![RESULT](../../../../../../translated_images/da/03.b83ce473d5ff9b9b.webp) +![RESULTAT](../../../../../../translated_images/da/03.b83ce473d5ff9b9b.webp) - Kompiler det med dit Python-miljø + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include ``` -**Ansvarsfraskrivelse**: -Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på nøjagtighed, bedes du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det oprindelige dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse. \ No newline at end of file +--- + + +**Ansvarsfraskrivelse**: +Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på nøjagtighed, skal du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse. + \ No newline at end of file diff --git a/translations/da/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/da/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 8db8d9f7e..34954bb0a 100644 --- a/translations/da/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/da/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ -# Brug af Windows GPU til at skabe Prompt flow-løsning med Phi-3.5-Instruct ONNX +# Brug af Windows GPU til at oprette Prompt flow-løsning med Phi-3.5-Instruct ONNX Følgende dokument er et eksempel på, hvordan man bruger PromptFlow med ONNX (Open Neural Network Exchange) til at udvikle AI-applikationer baseret på Phi-3 modeller. -PromptFlow er en samling udviklingsværktøjer designet til at strømline hele udviklingscyklussen for LLM-baserede (Large Language Model) AI-applikationer, fra idéudvikling og prototyping til test og evaluering. +PromptFlow er et sæt udviklingsværktøjer designet til at strømline den end-to-end udviklingscyklus for LLM-baserede (Large Language Model) AI-applikationer, fra idéudvikling og prototyping til test og evaluering. Ved at integrere PromptFlow med ONNX kan udviklere: -- Optimere modelpræstation: Udnyt ONNX til effektiv modelinference og implementering. -- Forenkle udvikling: Brug PromptFlow til at styre workflow og automatisere gentagne opgaver. -- Forbedre samarbejde: Fremme bedre samarbejde blandt teammedlemmer ved at tilbyde et samlet udviklingsmiljø. +- Optimere modelydelse: Udnyt ONNX til effektiv model inference og implementering. +- Forenkle udvikling: Brug PromptFlow til at styre workflowet og automatisere gentagne opgaver. +- Forbedre samarbejde: Lettere samarbejde mellem teammedlemmer ved at tilbyde et ensartet udviklingsmiljø. -**Prompt flow** er en samling udviklingsværktøjer designet til at strømline hele udviklingscyklussen for LLM-baserede AI-applikationer, fra idéudvikling, prototyping, test, evaluering til produktionsimplementering og overvågning. Det gør prompt engineering meget nemmere og giver dig mulighed for at bygge LLM-apps med produktionskvalitet. +**Prompt flow** er et sæt udviklingsværktøjer designet til at strømline den end-to-end udviklingscyklus for LLM-baserede AI-applikationer, fra idéudvikling, prototyping, test, evaluering til produktionsimplementering og overvågning. Det gør prompt engineering meget nemmere og gør det muligt at bygge LLM-apps med produktionskvalitet. -Prompt flow kan forbindes til OpenAI, Azure OpenAI Service og tilpassede modeller (Huggingface, lokale LLM/SLM). Vi håber at implementere Phi-3.5’s kvantiserede ONNX-model til lokale applikationer. Prompt flow kan hjælpe os med bedre at planlægge vores forretning og færdiggøre lokale løsninger baseret på Phi-3.5. I dette eksempel kombinerer vi ONNX Runtime GenAI Library for at færdiggøre Prompt flow-løsningen baseret på Windows GPU. +Prompt flow kan forbinde til OpenAI, Azure OpenAI Service og tilpassede modeller (Huggingface, lokale LLM/SLM). Vi håber at implementere Phi-3.5's kvantiserede ONNX-model til lokale applikationer. Prompt flow kan hjælpe os med bedre at planlægge vores forretning og fuldføre lokale løsninger baseret på Phi-3.5. I dette eksempel kombinerer vi ONNX Runtime GenAI Library for at fuldføre Prompt flow-løsningen baseret på Windows GPU. ## **Installation** -### **ONNX Runtime GenAI for Windows GPU** +### **ONNX Runtime GenAI til Windows GPU** -Læs denne vejledning for at sætte ONNX Runtime GenAI op til Windows GPU [klik her](./ORTWindowGPUGuideline.md) +Læs denne vejledning for at sætte ONNX Runtime GenAI til Windows GPU [klik her](./ORTWindowGPUGuideline.md) -### **Opsætning af Prompt flow i VSCode** +### **Opsæt Prompt flow i VSCode** 1. Installer Prompt flow VS Code Extension ![pfvscode](../../../../../../translated_images/da/pfvscode.eff93dfc66a42cbe.webp) -2. Efter installation af Prompt flow VS Code Extension, klik på udvidelsen, og vælg **Installation dependencies** følg denne vejledning for at installere Prompt flow SDK i dit miljø +2. Efter installation af Prompt flow VS Code Extension, klik på udvidelsen og vælg **Installation dependencies** følg denne vejledning for at installere Prompt flow SDK i dit miljø ![pfsetup](../../../../../../translated_images/da/pfsetup.b46e93096f5a254f.webp) -3. Download [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) og åbn dette eksempel i VS Code +3. Download [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) og brug VS Code til at åbne dette eksempel ![pfsample](../../../../../../translated_images/da/pfsample.8d89e70584ffe7c4.webp) @@ -38,17 +38,17 @@ Læs denne vejledning for at sætte ONNX Runtime GenAI op til Windows GPU [klik ![pfdag](../../../../../../translated_images/da/pfdag.264a77f7366458ff.webp) - Åbn **chat_phi3_ort.py** for at ændre placeringen af din Phi-3.5-instruct ONNX-model + Åbn **chat_phi3_ort.py** for at ændre din Phi-3.5-instruct ONNX Model placering ![pfphi](../../../../../../translated_images/da/pfphi.72da81d74244b45f.webp) -5. Kør din prompt flow til test +5. Kør din prompt flow for at teste -Åbn **flow.dag.yaml** og klik på visual editor +Åbn **flow.dag.yaml** klik på visual editor ![pfv](../../../../../../translated_images/da/pfv.ba8a81f34b20f603.webp) -klik herefter og kør den for at teste +Efter at have klikket på dette, kør det for at teste ![pfflow](../../../../../../translated_images/da/pfflow.4e1135a089b1ce1b.webp) @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Du kan se resultaterne i din standardbrowser +Du kan se resultater i din standardbrowser ![pfresult](../../../../../../translated_images/da/pfresult.c22c826f8062d7cb.webp) -**Ansvarsfraskrivelse**: -Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på nøjagtighed, bedes du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det oprindelige dokument på dets modersmål bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse. \ No newline at end of file +--- + + +**Ansvarsfraskrivelse**: +Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selvom vi bestræber os på nøjagtighed, skal du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse. + \ No newline at end of file diff --git a/translations/de/.co-op-translator.json b/translations/de/.co-op-translator.json index 3a6e33933..b214d6b9c 100644 --- a/translations/de/.co-op-translator.json +++ b/translations/de/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:14:25+00:00", + "translation_date": "2026-07-29T17:28:49+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "de" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:38:38+00:00", + "translation_date": "2026-07-29T17:29:31+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "de" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:56:42+00:00", + "translation_date": "2026-07-29T17:29:06+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "de" }, diff --git a/translations/de/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/de/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 162c5831e..d7068dd72 100644 --- a/translations/de/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/de/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Wie man Model Builder zur Quantisierung von Phi-3.5 verwendet** +# **Quantisierung der Phi-Familie mit Generative AI-Erweiterungen für onnxruntime** -Model Builder unterstützt jetzt die Quantisierung von ONNX-Modellen für Phi-3.5 Instruct und Phi-3.5-Vision. +## **Was sind Generative AI-Erweiterungen für onnxruntime** + +Diese Erweiterungen helfen Ihnen, generative KI mit ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) auszuführen. Sie bieten die generative KI-Schleife für ONNX-Modelle, einschließlich Inferenz mit ONNX Runtime, Logits-Verarbeitung, Suche und Sampling sowie Verwaltung des KV-Caches. Entwickler können eine hochstufige generate()-Methode aufrufen oder jede Iteration des Modells in einer Schleife ausführen, wobei jeweils ein Token generiert und optional die Generierungsparameter innerhalb der Schleife aktualisiert werden. Es gibt Unterstützung für Greedy/Beam Search und TopP, TopK Sampling zur Generierung von Token-Sequenzen sowie eingebauten Logits-Verarbeitung wie Wiederholungsstrafe. Sie können auch problemlos benutzerdefinierte Bewertungen hinzufügen. + +Auf Anwendungsebene können Sie Generative AI-Erweiterungen für onnxruntime verwenden, um Anwendungen mit C++/ C# / Python zu entwickeln. Auf Modellebene können Sie damit feinabgestimmte Modelle zusammenführen und verwandte quantitative Bereitstellungsarbeiten durchführen. + + +## **Quantisierung von Phi-3.5 mit Generative AI-Erweiterungen für onnxruntime** + +### **Unterstützte Modelle** + +Generative AI-Erweiterungen für onnxruntime unterstützen die Quantisierungskonvertierung von Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder in Generative AI-Erweiterungen für onnxruntime** + +Der Model Builder beschleunigt das Erstellen von optimierten und quantisierten ONNX-Modellen, die mit der ONNX Runtime generate()-API ausgeführt werden. + +Über den Model Builder können Sie das Modell auf INT4, INT8, FP16, FP32 quantisieren und verschiedene Hardwarebeschleunigungsmethoden wie CPU, CUDA, DirectML, Mobile usw. kombinieren. + +Um den Model Builder zu verwenden, müssen Sie installieren + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Nach der Installation können Sie das Model Builder-Skript über das Terminal ausführen, um Modellformat- und Quantisierungskonvertierungen durchzuführen. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Verstehen Sie die relevanten Parameter + +1. **model_name** Dies ist das Modell auf Hugging Face, z.B. microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct usw. Es kann auch der Pfad sein, wo Sie das Modell speichern + +2. **path_to_output_folder** Speicherort der quantisierten Konvertierung + +3. **execution_provider** Unterstützung verschiedener Hardwarebeschleunigungen, z.B. cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Wir laden das Modell von Hugging Face herunter und speichern es lokal im Cache + + + + +***Hinweis:*** + +## **Wie man den Model Builder verwendet, um Phi-3.5 zu quantisieren** + +Der Model Builder unterstützt jetzt die ONNX-Modellquantisierung für Phi-3.5 Instruct und Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU-beschleunigte Konvertierung in quantisiertes INT4** + +**CPU-beschleunigte Konvertierung zu quantisiertem INT4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA-beschleunigte Konvertierung in quantisiertes INT4** +**CUDA-beschleunigte Konvertierung zu quantisiertem INT4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Umgebung im Terminal einrichten +1. Setzen Sie die Umgebung im Terminal ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Lade microsoft/Phi-3.5-vision-instruct im Models-Ordner herunter +2. Download microsoft/Phi-3.5-vision-instruct im Modelle-Ordner [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Bitte lade diese Dateien in deinen Phi-3.5-vision-instruct-Ordner herunter +3. Bitte laden Sie diese Dateien in Ihren Phi-3.5-vision-instruct-Ordner herunter - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Lade diese Datei in den Models-Ordner herunter + +4. Laden Sie diese Datei in den Modelle-Ordner herunter [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Öffne das Terminal +5. Gehen Sie ins Terminal + + Konvertieren Sie ONNX mit FP32-Unterstützung - Konvertiere ONNX-Unterstützung mit FP32 ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Hinweis:** -1. Model Builder unterstützt derzeit die Konvertierung von Phi-3.5-Instruct und Phi-3.5-Vision, jedoch nicht Phi-3.5-MoE. +1. Der Model Builder unterstützt derzeit die Konvertierung von Phi-3.5-Instruct und Phi-3.5-Vision, aber nicht Phi-3.5-MoE -2. Um das quantisierte ONNX-Modell zu verwenden, kannst du es über das Generative AI extensions for onnxruntime SDK nutzen. +2. Um ONNXs quantisiertes Modell zu nutzen, können Sie es über das Generative AI-Erweiterungen für onnxruntime SDK verwenden -3. Da wir verantwortungsbewusste KI berücksichtigen müssen, wird empfohlen, nach der Quantisierung des Modells umfassendere Tests der Ergebnisse durchzuführen. +3. Wir müssen verantwortungsvollere KI berücksichtigen, daher wird nach der Modellquantisierung empfohlen, effektivere Ergebnistests durchzuführen + +4. Durch die Quantisierung des CPU INT4-Modells können wir es auf Edge-Geräten einsetzen, was bessere Anwendungsszenarien ermöglicht, deshalb haben wir Phi-3.5-Instruct rund um INT4 abgeschlossen -4. Durch die Quantisierung des CPU INT4-Modells können wir es auf Edge-Geräten bereitstellen, was bessere Anwendungsszenarien ermöglicht. Daher haben wir Phi-3.5-Instruct rund um INT4 abgeschlossen. ## **Ressourcen** -1. Erfahre mehr über Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Erfahren Sie mehr über Generative AI-Erweiterungen für onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI-Erweiterungen für onnxruntime GitHub-Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub-Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Haftungsausschluss**: -Dieses Dokument wurde mit dem KI-Übersetzungsdienst [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ursprungssprache ist als maßgebliche Quelle zu betrachten. Für wichtige Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Nutzung dieser Übersetzung entstehen. \ No newline at end of file + +**Haftungsausschluss**: +Dieses Dokument wurde mit dem KI-Übersetzungsdienst [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ursprungssprache gilt als maßgebliche Quelle. Bei kritischen Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Verwendung dieser Übersetzung entstehen. + \ No newline at end of file diff --git a/translations/de/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/de/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index ee560af27..e65cec779 100644 --- a/translations/de/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/de/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,12 +1,12 @@ # **Leitfaden für OnnxRuntime GenAI Windows GPU** -Dieser Leitfaden beschreibt die Schritte zur Einrichtung und Nutzung von ONNX Runtime (ORT) mit GPUs unter Windows. Er soll Ihnen helfen, die GPU-Beschleunigung für Ihre Modelle zu nutzen und so Leistung und Effizienz zu verbessern. +Dieser Leitfaden bietet Schritte zum Einrichten und Verwenden von ONNX Runtime (ORT) mit GPUs unter Windows. Er soll Ihnen helfen, GPU-Beschleunigung für Ihre Modelle zu nutzen und so Leistung und Effizienz zu verbessern. -Das Dokument gibt Hinweise zu: +Das Dokument enthält Hinweise zu: -- Umgebungseinrichtung: Anleitungen zur Installation der notwendigen Abhängigkeiten wie CUDA, cuDNN und ONNX Runtime. -- Konfiguration: Wie Sie die Umgebung und ONNX Runtime so einstellen, dass GPU-Ressourcen effektiv genutzt werden. -- Optimierungstipps: Empfehlungen zur Feinabstimmung Ihrer GPU-Einstellungen für optimale Leistung. +- Umgebungs Einrichtung: Anweisungen zur Installation der erforderlichen Abhängigkeiten wie CUDA, cuDNN und ONNX Runtime. +- Konfiguration: Wie Sie die Umgebung und ONNX Runtime konfigurieren, um GPU-Ressourcen effektiv zu nutzen. +- Optimierungstipps: Ratschläge, wie Sie Ihre GPU-Einstellungen für optimale Leistung feinabstimmen. ### **1. Python 3.10.x /3.11.8** @@ -22,7 +22,8 @@ Das Dokument gibt Hinweise zu: ***Erinnerung*** Falls Sie eine Python ONNX-Bibliothek installiert haben, deinstallieren Sie diese bitte -### **2. CMake mit winget installieren** +### **2. Installation von CMake mit winget** + ```bash @@ -30,13 +31,14 @@ Das Dokument gibt Hinweise zu: ``` -### **3. Visual Studio 2022 - Desktopentwicklung mit C++ installieren** +### **3. Installation von Visual Studio 2022 - Desktop-Entwicklung mit C++** ***Hinweis*** Wenn Sie nicht kompilieren möchten, können Sie diesen Schritt überspringen ![CPP](../../../../../../translated_images/de/01.42f52a2b2aedff02.webp) -### **4. NVIDIA-Treiber installieren** + +### **4. Installation des NVIDIA Treibers** 1. **NVIDIA GPU-Treiber** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,19 +46,21 @@ Das Dokument gibt Hinweise zu: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Erinnerung*** Bitte verwenden Sie die Standardeinstellungen während der Installation +***Erinnerung*** Bitte verwenden Sie die Standardeinstellungen im Installationsprozess + +### **5. NVIDIA Umgebung einrichten** + +Kopieren Sie NVIDIA CUDNN 9.4 lib, bin, include nach NVIDIA CUDA 12.4 lib, bin, include -### **5. NVIDIA-Umgebung einrichten** +- Kopieren Sie *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* Dateien nach *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -Kopieren Sie die NVIDIA CUDNN 9.4 lib, bin, include Ordner in die entsprechenden Verzeichnisse von NVIDIA CUDA 12.4 +- Kopieren Sie *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* Dateien nach *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* -- Kopieren Sie die Dateien aus *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* nach *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- Kopieren Sie *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* Dateien nach *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- Kopieren Sie die Dateien aus *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* nach *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* -- Kopieren Sie die Dateien aus *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* nach *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* +### **6. Herunterladen von Phi-3.5-mini-instruct-onnx** -### **6. Phi-3.5-mini-instruct-onnx herunterladen** ```bash @@ -70,25 +74,30 @@ Kopieren Sie die NVIDIA CUDNN 9.4 lib, bin, include Ordner in die entsprechenden ``` -### **7. InferencePhi35Instruct.ipynb ausführen** +### **7. Ausführung von InferencePhi35Instruct.ipynb** - Öffnen Sie das [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) und führen Sie es aus + Öffnen Sie das [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) und führen Sie es aus -![RESULT](../../../../../../translated_images/de/02.b9b06996cf7255d5.webp) -### **8. ORT GenAI GPU kompilieren** +![ERGEBNIS](../../../../../../translated_images/de/02.b9b06996cf7255d5.webp) + + +### **8. Kompilieren von ORT GenAI GPU** + ***Hinweis*** - 1. Bitte deinstallieren Sie zunächst alle ONNX-, ONNX Runtime- und ONNX Runtime GenAI-Pakete + 1. Bitte deinstallieren Sie zunächst alle Pakete zu onnx, onnxruntime und onnxruntime-genai + ```bash pip list ``` - Danach deinstallieren Sie alle onnxruntime-Bibliotheken, z.B. + Dann deinstallieren Sie alle onnxruntime Bibliotheken, z.B. + ```bash @@ -100,14 +109,18 @@ Kopieren Sie die NVIDIA CUDNN 9.4 lib, bin, include Ordner in die entsprechenden ``` - 2. Visual Studio Erweiterung prüfen + 2. Überprüfen Sie die Unterstützung der Visual Studio-Erweiterung - Überprüfen Sie im Verzeichnis C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, ob der Ordner C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration vorhanden ist. + Prüfen Sie C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, um sicherzustellen, dass C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration vorhanden ist. - Falls nicht, suchen Sie in anderen CUDA Toolkit Treiberordnern nach dem Ordner visual_studio_integration und kopieren Sie diesen samt Inhalt nach C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Wenn nicht vorhanden, überprüfen Sie andere CUDA Toolkit Treiberordner und kopieren Sie den Ordner visual_studio_integration samt Inhalt nach C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Wenn Sie nicht kompilieren möchten, können Sie diesen Schritt überspringen + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Kopieren Sie die NVIDIA CUDNN 9.4 lib, bin, include Ordner in die entsprechenden - Laden Sie [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) herunter - - Entpacken Sie onnxruntime-win-x64-gpu-1.19.2.zip, benennen Sie den Ordner in **ort** um und kopieren Sie ihn in onnxruntime-genai + - Entpacken Sie onnxruntime-win-x64-gpu-1.19.2.zip und benennen Sie es in **ort** um, kopieren Sie den ort-Ordner nach onnxruntime-genai - - Öffnen Sie das Windows Terminal, wechseln Sie zur Developer Command Prompt für VS 2022 und navigieren Sie zu onnxruntime-genai + - Öffnen Sie Windows Terminal, wechseln Sie zur Developer Command Prompt für VS 2022 und navigieren Sie zu onnxruntime-genai -![RESULT](../../../../../../translated_images/de/03.b83ce473d5ff9b9b.webp) +![ERGEBNIS](../../../../../../translated_images/de/03.b83ce473d5ff9b9b.webp) - Kompilieren Sie es mit Ihrer Python-Umgebung + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopieren Sie die NVIDIA CUDNN 9.4 lib, bin, include Ordner in die entsprechenden ``` -**Haftungsausschluss**: -Dieses Dokument wurde mit dem KI-Übersetzungsdienst [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ursprungssprache ist als maßgebliche Quelle zu betrachten. Für wichtige Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Nutzung dieser Übersetzung entstehen. \ No newline at end of file +--- + + +**Haftungsausschluss**: +Dieses Dokument wurde mit dem KI-Übersetzungsdienst [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ursprungssprache gilt als maßgebliche Quelle. Bei kritischen Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Verwendung dieser Übersetzung entstehen. + \ No newline at end of file diff --git a/translations/de/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/de/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index a08748a40..824d3e6ed 100644 --- a/translations/de/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/de/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# Verwendung der Windows-GPU zur Erstellung einer PromptFlow-Lösung mit Phi-3.5-Instruct ONNX +# Verwendung der Windows GPU zur Erstellung einer Prompt Flow-Lösung mit Phi-3.5-Instruct ONNX -Das folgende Dokument zeigt ein Beispiel, wie man PromptFlow mit ONNX (Open Neural Network Exchange) verwendet, um KI-Anwendungen auf Basis von Phi-3-Modellen zu entwickeln. +Das folgende Dokument ist ein Beispiel dafür, wie PromptFlow mit ONNX (Open Neural Network Exchange) zur Entwicklung von KI-Anwendungen auf Basis von Phi-3-Modellen verwendet wird. -PromptFlow ist eine Sammlung von Entwicklungstools, die den gesamten Entwicklungszyklus von KI-Anwendungen auf Basis von LLMs (Large Language Models) vereinfachen – von der Ideenfindung und Prototypenerstellung bis hin zu Tests und Evaluation. +PromptFlow ist eine Suite von Entwicklungstools, die darauf ausgelegt ist, den End-to-End-Entwicklungszyklus von LLM-basierten (Large Language Model) KI-Anwendungen zu vereinfachen – von der Ideenfindung und Prototypentwicklung bis hin zu Tests und Evaluierung. Durch die Integration von PromptFlow mit ONNX können Entwickler: -- Modellleistung optimieren: ONNX für effiziente Modellausführung und Bereitstellung nutzen. -- Entwicklung vereinfachen: PromptFlow verwenden, um den Workflow zu steuern und wiederkehrende Aufgaben zu automatisieren. -- Zusammenarbeit verbessern: Bessere Teamarbeit durch eine einheitliche Entwicklungsumgebung ermöglichen. +- Modellleistung optimieren: Nutzen Sie ONNX für eine effiziente Modellausführung und -bereitstellung. +- Entwicklung vereinfachen: Verwenden Sie PromptFlow zur Verwaltung des Workflows und Automatisierung wiederkehrender Aufgaben. +- Zusammenarbeit verbessern: Erleichtern Sie die Zusammenarbeit im Team durch eine einheitliche Entwicklungsumgebung. -**PromptFlow** ist eine Sammlung von Entwicklungstools, die den gesamten Entwicklungszyklus von LLM-basierten KI-Anwendungen vereinfachen – von der Ideenfindung, Prototypenerstellung, Tests und Evaluation bis hin zur produktiven Bereitstellung und Überwachung. Es macht Prompt Engineering deutlich einfacher und ermöglicht es, LLM-Anwendungen in Produktionsqualität zu erstellen. +**Prompt Flow** ist eine Suite von Entwicklungstools, die darauf abzielt, den gesamten Entwicklungszyklus von LLM-basierten KI-Anwendungen zu vereinfachen – von der Ideenfindung, Prototypentwicklung, Tests, Evaluierung bis hin zur produktiven Bereitstellung und Überwachung. Es macht Prompt Engineering deutlich einfacher und ermöglicht es Ihnen, LLM-Anwendungen mit Produktionsqualität zu erstellen. -PromptFlow kann sich mit OpenAI, Azure OpenAI Service und anpassbaren Modellen (Huggingface, lokale LLM/SLM) verbinden. Wir planen, das quantisierte ONNX-Modell von Phi-3.5 in lokalen Anwendungen einzusetzen. PromptFlow hilft uns dabei, unser Geschäft besser zu planen und lokale Lösungen auf Basis von Phi-3.5 zu realisieren. In diesem Beispiel kombinieren wir die ONNX Runtime GenAI Library, um die PromptFlow-Lösung auf einer Windows-GPU umzusetzen. +Prompt Flow kann sich mit OpenAI, Azure OpenAI Service sowie anpassbaren Modellen (Huggingface, lokale LLM/SLM) verbinden. Wir hoffen, das quantisierte ONNX-Modell von Phi-3.5 in lokalen Anwendungen bereitzustellen. Prompt Flow kann uns helfen, unser Geschäft besser zu planen und lokale Lösungen auf Basis von Phi-3.5 zu realisieren. In diesem Beispiel kombinieren wir die ONNX Runtime GenAI Library, um die Prompt Flow-Lösung basierend auf Windows GPU abzuschließen. ## **Installation** ### **ONNX Runtime GenAI für Windows GPU** -Lies diese Anleitung, um ONNX Runtime GenAI für Windows GPU einzurichten: [hier klicken](./ORTWindowGPUGuideline.md) +Lesen Sie diese Anleitung, um ONNX Runtime GenAI für Windows GPU einzurichten [hier klicken](./ORTWindowGPUGuideline.md) -### **PromptFlow in VSCode einrichten** +### **Prompt Flow in VSCode einrichten** -1. Installiere die PromptFlow VS Code Erweiterung +1. Installieren Sie die Prompt Flow VS Code-Erweiterung ![pfvscode](../../../../../../translated_images/de/pfvscode.eff93dfc66a42cbe.webp) -2. Nach der Installation der PromptFlow VS Code Erweiterung, klicke auf die Erweiterung und wähle **Installation dependencies**. Folge dieser Anleitung, um das PromptFlow SDK in deiner Umgebung zu installieren. +2. Nach der Installation der Prompt Flow VS Code-Erweiterung klicken Sie auf die Erweiterung und wählen **Installation dependencies** — folgen Sie dieser Anleitung, um das Prompt Flow SDK in Ihrer Umgebung zu installieren ![pfsetup](../../../../../../translated_images/de/pfsetup.b46e93096f5a254f.webp) -3. Lade den [Beispielcode](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) herunter und öffne das Beispiel mit VS Code +3. Laden Sie den [Beispielcode](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) herunter und öffnen Sie diesen mit VS Code ![pfsample](../../../../../../translated_images/de/pfsample.8d89e70584ffe7c4.webp) -4. Öffne **flow.dag.yaml**, um deine Python-Umgebung auszuwählen +4. Öffnen Sie **flow.dag.yaml**, um Ihr Python-Umgebung auszuwählen ![pfdag](../../../../../../translated_images/de/pfdag.264a77f7366458ff.webp) - Öffne **chat_phi3_ort.py**, um den Speicherort deines Phi-3.5-instruct ONNX-Modells anzupassen + Öffnen Sie **chat_phi3_ort.py**, um den Speicherort Ihres Phi-3.5-Instruct ONNX-Modells zu ändern ![pfphi](../../../../../../translated_images/de/pfphi.72da81d74244b45f.webp) -5. Starte deinen PromptFlow-Testlauf +5. Führen Sie Ihren Prompt Flow zum Testen aus -Öffne **flow.dag.yaml** und klicke auf den visuellen Editor +Öffnen Sie **flow.dag.yaml** und klicken Sie auf den visuellen Editor ![pfv](../../../../../../translated_images/de/pfv.ba8a81f34b20f603.webp) -Klicke darauf und führe den Testlauf aus +Nach dem Klick darauf führen Sie es aus, um zu testen ![pfflow](../../../../../../translated_images/de/pfflow.4e1135a089b1ce1b.webp) -1. Du kannst auch im Terminal Batch-Läufe starten, um weitere Ergebnisse zu prüfen +1. Sie können im Terminal Batchprozesse ausführen, um weitere Ergebnisse zu prüfen ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Die Ergebnisse kannst du in deinem Standardbrowser ansehen +Sie können die Ergebnisse in Ihrem Standardbrowser ansehen ![pfresult](../../../../../../translated_images/de/pfresult.c22c826f8062d7cb.webp) -**Haftungsausschluss**: -Dieses Dokument wurde mit dem KI-Übersetzungsdienst [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ursprungssprache gilt als maßgebliche Quelle. Für wichtige Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Nutzung dieser Übersetzung entstehen. \ No newline at end of file +--- + + +**Haftungsausschluss**: +Dieses Dokument wurde mit dem KI-Übersetzungsdienst [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ursprungssprache gilt als maßgebliche Quelle. Bei kritischen Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Verwendung dieser Übersetzung entstehen. + \ No newline at end of file diff --git a/translations/el/.co-op-translator.json b/translations/el/.co-op-translator.json index 236fa03e1..fed74bbb2 100644 --- a/translations/el/.co-op-translator.json +++ b/translations/el/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:20:47+00:00", + "translation_date": "2026-07-29T18:28:01+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "el" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:43:27+00:00", + "translation_date": "2026-07-29T18:28:52+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "el" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:00:26+00:00", + "translation_date": "2026-07-29T18:28:23+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "el" }, diff --git a/translations/el/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/el/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 5b528dd37..d70d0ddac 100644 --- a/translations/el/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/el/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Πώς να χρησιμοποιήσετε το Model Builder για την ποσοτικοποίηση του Phi-3.5** +# **Κβαντοποίηση της οικογένειας Phi χρησιμοποιώντας επεκτάσεις Generative AI για onnxruntime** -Το Model Builder υποστηρίζει πλέον την ποσοτικοποίηση μοντέλων ONNX για τα Phi-3.5 Instruct και Phi-3.5-Vision. +## **Τι είναι οι επεκτάσεις Generative AI για onnxruntime** + +Αυτές οι επεκτάσεις σας βοηθούν να εκτελείτε generative AI με το ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Παρέχουν τον βρόχο generative AI για μοντέλα ONNX, συμπεριλαμβανομένης της εκτέλεσης με ONNX Runtime, της επεξεργασίας των logits, της αναζήτησης και δειγματοληψίας, καθώς και της διαχείρισης της μνήμης KV cache. Οι προγραμματιστές μπορούν να καλέσουν μια υψηλού επιπέδου μέθοδο generate(), ή να εκτελέσουν κάθε επανάληψη του μοντέλου σε βρόχο, παράγοντας ένα token τη φορά και προαιρετικά ενημερώνοντας τις παραμέτρους γενιάς μέσα στον βρόχο. Υποστηρίζει αναζήτηση greedy/beam, δειγματοληψία TopP, TopK για τη δημιουργία ακολουθιών token και ενσωματωμένη επεξεργασία logits όπως ποινές επανάληψης. Μπορείτε επίσης εύκολα να προσθέσετε προσαρμοσμένη βαθμολόγηση. + +Σε επίπεδο εφαρμογής, μπορείτε να χρησιμοποιήσετε τις επεκτάσεις Generative AI για onnxruntime για να κατασκευάσετε εφαρμογές με C++/ C# / Python. Σε επίπεδο μοντέλου, μπορείτε να το χρησιμοποιήσετε για να συγχωνεύσετε μοντέλα που έχουν βελτιωθεί και να κάνετε σχετική ποσοτική ανάπτυξη. + + +## **Κβαντοποίηση του Phi-3.5 με επεκτάσεις Generative AI για onnxruntime** + +### **Υποστηριζόμενα Μοντέλα** + +Οι επεκτάσεις Generative AI για onnxruntime υποστηρίζουν τη μετατροπή κβαντοποίησης των Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Κατασκευαστής Μοντέλων στις επεκτάσεις Generative AI για onnxruntime** + +Ο κατασκευαστής μοντέλων επιταχύνει σημαντικά τη δημιουργία βελτιστοποιημένων και κβαντοποιημένων μοντέλων ONNX που εκτελούνται με το API generate() του ONNX Runtime. + +Μέσω του Κατασκευαστή Μοντέλων, μπορείτε να κβαντοποιήσετε το μοντέλο σε INT4, INT8, FP16, FP32 και να συνδυάσετε διάφορες μεθόδους επιτάχυνσης υλικού όπως CPU, CUDA, DirectML, Mobile, κ.ά. + +Για να χρησιμοποιήσετε τον Κατασκευαστή Μοντέλων χρειάζεται να εγκαταστήσετε + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Μετά την εγκατάσταση, μπορείτε να εκτελέσετε το σενάριο του Κατασκευαστή Μοντέλων από το τερματικό για να πραγματοποιήσετε μετατροπή μορφής μοντέλου και κβαντοποίησης. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Κατανοήστε τις σχετικές παραμέτρους + +1. **model_name** Αυτό είναι το μοντέλο στο Hugging face, όπως microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, κ.ά. Μπορεί επίσης να είναι η διαδρομή όπου αποθηκεύετε το μοντέλο + +2. **path_to_output_folder** Διαδρομή αποθήκευσης της κβαντοποιημένης μετατροπής + +3. **execution_provider** Υποστήριξη διαφορετικής επιτάχυνσης υλικού, όπως cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Κατεβάζουμε το μοντέλο από το Hugging face και το αποθηκεύουμε προσωρινά τοπικά + + + + +***Σημείωση：*** + +## **Πώς να χρησιμοποιήσετε τον Κατασκευαστή Μοντέλων για την κβαντοποίηση του Phi-3.5** + +Ο Κατασκευαστής Μοντέλων πλέον υποστηρίζει κβαντοποίηση μοντέλων ONNX για το Phi-3.5 Instruct και το Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Μετατροπή ποσοτικοποιημένης INT4 με επιτάχυνση CPU** + +**Επιτάχυνση μετατροπής κβαντοποιημένου INT 4 με CPU** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Μετατροπή ποσοτικοποιημένης INT4 με επιτάχυνση CUDA** +**Επιτάχυνση μετατροπής κβαντοποιημένου INT 4 με CUDA** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Ορίστε το περιβάλλον στο τερματικό +1. Ρυθμίστε το περιβάλλον στο τερματικό ```bash @@ -40,7 +101,7 @@ cd models ``` -2. Κατεβάστε το microsoft/Phi-3.5-vision-instruct στον φάκελο models +2. Κατεβάστε το microsoft/Phi-3.5-vision-instruct στον φάκελο models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Παρακαλώ κατεβάστε αυτά τα αρχεία στον φάκελο Phi-3.5-vision-instruct σας @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Κατεβάστε αυτό το αρχείο στον φάκελο models + +4. Κατεβάστε αυτό το αρχείο στον φάκελο models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Μεταβείτε στο τερματικό Μετατροπή υποστήριξης ONNX με FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **Σημείωση:** -1. Το Model Builder υποστηρίζει προς το παρόν τη μετατροπή των Phi-3.5-Instruct και Phi-3.5-Vision, αλλά όχι του Phi-3.5-MoE. +### **Σημείωση：** + +1. Ο Κατασκευαστής Μοντέλων επί του παρόντος υποστηρίζει τη μετατροπή για το Phi-3.5-Instruct και το Phi-3.5-Vision, αλλά όχι το Phi-3.5-MoE -2. Για να χρησιμοποιήσετε το ποσοτικοποιημένο μοντέλο ONNX, μπορείτε να το κάνετε μέσω του Generative AI extensions για onnxruntime SDK. +2. Για να χρησιμοποιήσετε το κβαντοποιημένο μοντέλο ONNX, μπορείτε να το χρησιμοποιήσετε μέσω του SDK των επεκτάσεων Generative AI για onnxruntime -3. Πρέπει να λάβουμε υπόψη πιο υπεύθυνη χρήση της τεχνητής νοημοσύνης, γι’ αυτό μετά τη μετατροπή ποσοτικοποίησης του μοντέλου, συνιστάται να γίνουν πιο αποτελεσματικοί έλεγχοι αποτελεσμάτων. +3. Πρέπει να λάβουμε υπόψη πιο υπεύθυνη χρήση της AI, οπότε μετά τη μετατροπή κβαντοποίησης του μοντέλου, συνιστάται να πραγματοποιηθεί πιο αποτελεσματική δοκιμή αποτελεσμάτων + +4. Με την κβαντοποίηση του μοντέλου CPU INT4, μπορούμε να το αναπτύξουμε σε Edge Device, που έχει καλύτερα σενάρια εφαρμογής, οπότε έχουμε ολοκληρώσει το Phi-3.5-Instruct γύρω από το INT 4 -4. Με την ποσοτικοποίηση του μοντέλου CPU INT4, μπορούμε να το αναπτύξουμε σε Edge Devices, που προσφέρουν καλύτερα σενάρια εφαρμογής, γι’ αυτό και ολοκληρώσαμε το Phi-3.5-Instruct γύρω από το INT4. ## **Πόροι** -1. Μάθετε περισσότερα για το Generative AI extensions για onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Μάθετε περισσότερα για τις επεκτάσεις Generative AI για onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Αποθετήριο GitHub των επεκτάσεων Generative AI για onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Αποθετήριο GitHub του Generative AI extensions για onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Αποποίηση ευθυνών**: -Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI [Co-op Translator](https://github.com/Azure/co-op-translator). Παρόλο που επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη γλώσσα του θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης. \ No newline at end of file + +**Αποποίηση ευθυνών**: +Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης με τεχνητή νοημοσύνη [Co-op Translator](https://github.com/Azure/co-op-translator). Ενώ επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης. + \ No newline at end of file diff --git a/translations/el/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/el/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index b9ed753df..5f8759804 100644 --- a/translations/el/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/el/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Οδηγός για OnnxRuntime GenAI Windows GPU** -Αυτός ο οδηγός παρέχει βήματα για τη ρύθμιση και χρήση του ONNX Runtime (ORT) με GPUs σε Windows. Σκοπός του είναι να σας βοηθήσει να αξιοποιήσετε την επιτάχυνση με GPU για τα μοντέλα σας, βελτιώνοντας την απόδοση και την αποδοτικότητα. +Αυτός ο οδηγός παρέχει βήματα για την εγκατάσταση και χρήση του ONNX Runtime (ORT) με GPUs στα Windows. Έχει σχεδιαστεί για να σας βοηθήσει να αξιοποιήσετε την επιτάχυνση GPU για τα μοντέλα σας, βελτιώνοντας την απόδοση και την αποδοτικότητα. -Το έγγραφο παρέχει οδηγίες για: +Το έγγραφο παρέχει οδηγίες σχετικά με: - Ρύθμιση Περιβάλλοντος: Οδηγίες για την εγκατάσταση των απαραίτητων εξαρτημάτων όπως CUDA, cuDNN και ONNX Runtime. -- Παραμετροποίηση: Πώς να ρυθμίσετε το περιβάλλον και το ONNX Runtime ώστε να χρησιμοποιούν αποτελεσματικά τους πόρους της GPU. -- Συμβουλές Βελτιστοποίησης: Οδηγίες για το πώς να ρυθμίσετε καλύτερα τις ρυθμίσεις της GPU για βέλτιστη απόδοση. +- Διαμόρφωση: Πώς να διαμορφώσετε το περιβάλλον και το ONNX Runtime για να αξιοποιήσετε αποτελεσματικά τους πόρους GPU. +- Συμβουλές Βελτιστοποίησης: Συμβουλές για το πώς να ρυθμίσετε τις ρυθμίσεις GPU για βέλτιστη απόδοση. ### **1. Python 3.10.x /3.11.8** - ***Note*** Προτείνεται η χρήση του [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) ως το περιβάλλον Python σας + ***Σημείωση*** Προτείνεται η χρήση του [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) ως περιβάλλον Python ```bash @@ -20,44 +20,48 @@ ``` - ***Reminder*** Αν έχετε εγκαταστήσει κάποια βιβλιοθήκη ONNX για Python, παρακαλώ απεγκαταστήστε την + ***Υπενθύμιση*** Εάν έχετε εγκαταστήσει κάποια βιβλιοθήκη Python ONNX, παρακαλώ απεγκαταστήστε την ### **2. Εγκατάσταση CMake με winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Εγκατάσταση Visual Studio 2022 - Desktop Development με C++** +### **3. Εγκατάσταση Visual Studio 2022 - Desktop Development with C++** - ***Note*** Αν δεν θέλετε να κάνετε compile, μπορείτε να παραλείψετε αυτό το βήμα + ***Σημείωση*** Αν δεν θέλετε να κάνετε compile, μπορείτε να παραλείψετε αυτό το βήμα ![CPP](../../../../../../translated_images/el/01.42f52a2b2aedff02.webp) + ### **4. Εγκατάσταση NVIDIA Driver** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **Οδηγός NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Παρακαλώ χρησιμοποιήστε τις προεπιλεγμένες ρυθμίσεις κατά τη διαδικασία εγκατάστασης +***Υπενθύμιση*** Παρακαλώ χρησιμοποιήστε τις προεπιλεγμένες ρυθμίσεις κατά τη διαδικασία εγκατάστασης ### **5. Ρύθμιση Περιβάλλοντος NVIDIA** -Αντιγράψτε τα αρχεία lib, bin, include του NVIDIA CUDNN 9.4 στα αντίστοιχα lib, bin, include του NVIDIA CUDA 12.4 +Αντιγράψτε το NVIDIA CUDNN 9.4 lib, bin, include στο NVIDIA CUDA 12.4 lib, bin, include -- Αντιγράψτε τα αρχεία από *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* στο *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- Αντιγράψτε τα αρχεία από *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* στο *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- Αντιγράψτε τα αρχεία από *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* στο *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- Αντιγράψτε τα αρχεία από *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* στο *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- Αντιγράψτε τα αρχεία από *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* στο *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- Αντιγράψτε τα αρχεία από *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* στο *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Κατέβασμα Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ ### **7. Εκτέλεση InferencePhi35Instruct.ipynb** - Ανοίξτε το [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) και εκτελέστε + Ανοίξτε το [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) και εκτελέστε + ![RESULT](../../../../../../translated_images/el/02.b9b06996cf7255d5.webp) + ### **8. Compile ORT GenAI GPU** - ***Note*** + + ***Σημείωση*** - 1. Παρακαλώ απεγκαταστήστε πρώτα όλες τις βιβλιοθήκες που σχετίζονται με onnx, onnxruntime και onnxruntime-genai + 1. Παρακαλώ απεγκαταστήστε πρώτα όλα τα onnx, onnxruntime και onnxruntime-genai + ```bash pip list ``` - Στη συνέχεια απεγκαταστήστε όλες τις βιβλιοθήκες onnxruntime, π.χ. + Έπειτα απεγκαταστήστε όλες τις βιβλιοθήκες onnxruntime, π.χ. + ```bash @@ -100,14 +109,18 @@ ``` - 2. Ελέγξτε την υποστήριξη επέκτασης Visual Studio + 2. Ελέγξτε την υποστήριξη της επεκτάσεως Visual Studio - Ελέγξτε το φάκελο C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras για να βεβαιωθείτε ότι υπάρχει ο φάκελος C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Ελέγξτε το C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras για να βεβαιωθείτε ότι υπάρχει το C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Αν δεν υπάρχει, ελέγξτε άλλους φακέλους του Cuda toolkit driver και αντιγράψτε το φάκελο visual_studio_integration και το περιεχόμενό του στο C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Αν δεν βρεθεί, ελέγξτε άλλους φακέλους του Cuda toolkit driver και αντιγράψτε το φάκελο visual_studio_integration και το περιεχόμενό του στο C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Αν δεν θέλετε να κάνετε compile, μπορείτε να παραλείψετε αυτό το βήμα + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -118,12 +131,13 @@ - Αποσυμπιέστε το onnxruntime-win-x64-gpu-1.19.2.zip, μετονομάστε το σε **ort** και αντιγράψτε το φάκελο ort στο onnxruntime-genai - - Χρησιμοποιώντας το Windows Terminal, ανοίξτε το Developer Command Prompt για VS 2022 και μεταβείτε στο onnxruntime-genai + - Χρησιμοποιώντας το Windows Terminal, πηγαίνετε στο Developer Command Prompt για VS 2022 και μεταβείτε στο onnxruntime-genai ![RESULT](../../../../../../translated_images/el/03.b83ce473d5ff9b9b.webp) - Κάντε compile με το περιβάλλον Python σας + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**Αποποίηση ευθυνών**: -Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI [Co-op Translator](https://github.com/Azure/co-op-translator). Παρόλο που επιδιώκουμε την ακρίβεια, παρακαλούμε να γνωρίζετε ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη γλώσσα του θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης. \ No newline at end of file +--- + + +**Αποποίηση ευθυνών**: +Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης με τεχνητή νοημοσύνη [Co-op Translator](https://github.com/Azure/co-op-translator). Ενώ επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης. + \ No newline at end of file diff --git a/translations/el/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/el/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 413c40cf4..43e0109ef 100644 --- a/translations/el/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/el/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ -# Χρήση Windows GPU για τη δημιουργία λύσης Prompt flow με Phi-3.5-Instruct ONNX +# Χρήση Windows GPU για τη δημιουργία λύσης Prompt flow με Phi-3.5-Instruct ONNX -Το παρακάτω έγγραφο είναι ένα παράδειγμα για το πώς να χρησιμοποιήσετε το PromptFlow με ONNX (Open Neural Network Exchange) για την ανάπτυξη εφαρμογών AI βασισμένων σε μοντέλα Phi-3. +Το ακόλουθο έγγραφο είναι ένα παράδειγμα για το πώς να χρησιμοποιήσετε το PromptFlow με ONNX (Open Neural Network Exchange) για την ανάπτυξη εφαρμογών AI βασισμένων σε μοντέλα Phi-3. -Το PromptFlow είναι ένα σύνολο εργαλείων ανάπτυξης σχεδιασμένο να απλοποιεί τον πλήρη κύκλο ανάπτυξης εφαρμογών AI βασισμένων σε LLM (Large Language Model), από τη σύλληψη της ιδέας και το πρωτότυπο μέχρι τη δοκιμή και την αξιολόγηση. +Το PromptFlow είναι ένα σύνολο εργαλείων ανάπτυξης που έχουν σχεδιαστεί για να απλοποιήσουν τον κύκλο ανάπτυξης από άκρο σε άκρο εφαρμογών AI βασισμένων σε LLM (Μεγάλα Μοντέλα Γλώσσας), από την ιδέα και το πρωτότυπο μέχρι τον έλεγχο και την αξιολόγηση. Με την ενσωμάτωση του PromptFlow με το ONNX, οι προγραμματιστές μπορούν να: -- Βελτιστοποιήσουν την απόδοση του μοντέλου: Αξιοποιήστε το ONNX για αποδοτική εκτέλεση και ανάπτυξη μοντέλων. +- Βελτιστοποιήσουν την απόδοση του μοντέλου: Αξιοποιήστε το ONNX για αποδοτική εκτέλεση μοντέλου και ανάπτυξη. - Απλοποιήσουν την ανάπτυξη: Χρησιμοποιήστε το PromptFlow για να διαχειριστείτε τη ροή εργασίας και να αυτοματοποιήσετε επαναλαμβανόμενες εργασίες. -- Ενισχύσουν τη συνεργασία: Διευκολύνετε την καλύτερη συνεργασία μεταξύ των μελών της ομάδας παρέχοντας ένα ενιαίο περιβάλλον ανάπτυξης. +- Ενισχύσουν τη συνεργασία: Διευκολύνετε καλύτερη συνεργασία μεταξύ των μελών της ομάδας παρέχοντας ένα ενιαίο περιβάλλον ανάπτυξης. -**Prompt flow** είναι ένα σύνολο εργαλείων ανάπτυξης σχεδιασμένο να απλοποιεί τον πλήρη κύκλο ανάπτυξης εφαρμογών AI βασισμένων σε LLM, από τη σύλληψη της ιδέας, το πρωτότυπο, τη δοκιμή, την αξιολόγηση μέχρι την παραγωγική ανάπτυξη και την παρακολούθηση. Κάνει την μηχανική των prompts πολύ πιο εύκολη και σας επιτρέπει να δημιουργήσετε εφαρμογές LLM με ποιότητα παραγωγής. +**Το Prompt flow** είναι ένα σύνολο εργαλείων ανάπτυξης που έχουν σχεδιαστεί για να απλοποιήσουν τον κύκλο ανάπτυξης από άκρο σε άκρο εφαρμογών AI βασισμένων σε LLM, από την ιδέα, το πρωτότυπο, τον έλεγχο, την αξιολόγηση μέχρι την παραγωγή και την παρακολούθηση. Κάνει τη μηχανική prompt πολύ πιο εύκολη και σας επιτρέπει να δημιουργείτε εφαρμογές LLM με ποιοτικά χαρακτηριστικά παραγωγής. -Το Prompt flow μπορεί να συνδεθεί με OpenAI, Azure OpenAI Service και προσαρμόσιμα μοντέλα (Huggingface, τοπικά LLM/SLM). Ελπίζουμε να αναπτύξουμε το κβαντισμένο μοντέλο ONNX του Phi-3.5 σε τοπικές εφαρμογές. Το Prompt flow μπορεί να μας βοηθήσει να σχεδιάσουμε καλύτερα την επιχείρησή μας και να ολοκληρώσουμε τοπικές λύσεις βασισμένες στο Phi-3.5. Σε αυτό το παράδειγμα, θα συνδυάσουμε τη βιβλιοθήκη ONNX Runtime GenAI για να ολοκληρώσουμε τη λύση Prompt flow βασισμένη σε Windows GPU. +Το Prompt flow μπορεί να συνδεθεί με το OpenAI, την υπηρεσία Azure OpenAI, και προσαρμόσιμα μοντέλα (Huggingface, τοπικά LLM/SLM). Ελπίζουμε να αναπτύξουμε το κβαντισμένο μοντέλο ONNX του Phi-3.5 σε τοπικές εφαρμογές. Το Prompt flow μπορεί να μας βοηθήσει να προγραμματίσουμε καλύτερα την επιχείρησή μας και να ολοκληρώσουμε τοπικές λύσεις βασισμένες στο Phi-3.5. Σε αυτό το παράδειγμα, θα συνδυάσουμε τη βιβλιοθήκη ONNX Runtime GenAI για να ολοκληρώσουμε τη λύση Prompt flow βασισμένη σε Windows GPU. ## **Εγκατάσταση** ### **ONNX Runtime GenAI για Windows GPU** -Διαβάστε αυτόν τον οδηγό για να ρυθμίσετε το ONNX Runtime GenAI για Windows GPU [κάντε κλικ εδώ](./ORTWindowGPUGuideline.md) +Διαβάστε αυτόν τον οδηγό για να ρυθμίσετε το ONNX Runtime GenAI για Windows GPU [click here](./ORTWindowGPUGuideline.md) ### **Ρύθμιση Prompt flow στο VSCode** -1. Εγκαταστήστε την επέκταση Prompt flow για VS Code +1. Εγκατάσταση της επέκτασης Prompt flow VS Code ![pfvscode](../../../../../../translated_images/el/pfvscode.eff93dfc66a42cbe.webp) -2. Μετά την εγκατάσταση της επέκτασης Prompt flow για VS Code, κάντε κλικ στην επέκταση και επιλέξτε **Installation dependencies** ακολουθώντας αυτόν τον οδηγό για να εγκαταστήσετε το Prompt flow SDK στο περιβάλλον σας +2. Μετά την εγκατάσταση της επέκτασης Prompt flow VS Code, κάντε κλικ στην επέκταση, και επιλέξτε **Installation dependencies** ακολουθώντας αυτόν τον οδηγό για να εγκαταστήσετε το Prompt flow SDK στο περιβάλλον σας ![pfsetup](../../../../../../translated_images/el/pfsetup.b46e93096f5a254f.webp) -3. Κατεβάστε τον [Κώδικα Δείγματος](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) και ανοίξτε το δείγμα με το VS Code +3. Κατεβάστε [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) και χρησιμοποιήστε το VS Code για να ανοίξετε αυτό το δείγμα ![pfsample](../../../../../../translated_images/el/pfsample.8d89e70584ffe7c4.webp) @@ -38,21 +38,21 @@ ![pfdag](../../../../../../translated_images/el/pfdag.264a77f7366458ff.webp) - Ανοίξτε το **chat_phi3_ort.py** για να αλλάξετε τη θέση του μοντέλου Phi-3.5-instruct ONNX + Ανοίξτε το **chat_phi3_ort.py** για να αλλάξετε τη θέση του μοντέλου Phi-3.5-instruct ONNX σας ![pfphi](../../../../../../translated_images/el/pfphi.72da81d74244b45f.webp) -5. Εκτελέστε το prompt flow για δοκιμή +5. Εκτελέστε το prompt flow σας για δοκιμή -Ανοίξτε το **flow.dag.yaml** και κάντε κλικ στον οπτικό επεξεργαστή +Ανοίξτε το **flow.dag.yaml** και κάντε κλικ στον οπτικό επεξεργαστή (visual editor) ![pfv](../../../../../../translated_images/el/pfv.ba8a81f34b20f603.webp) -Μετά το κλικ, εκτελέστε το για να το δοκιμάσετε +μετά κάντε κλικ σε αυτό και εκτελέστε το για δοκιμή ![pfflow](../../../../../../translated_images/el/pfflow.4e1135a089b1ce1b.webp) -1. Μπορείτε να εκτελέσετε batch στο τερματικό για να δείτε περισσότερα αποτελέσματα +1. Μπορείτε να εκτελέσετε παρτίδα (batch) στο τερματικό για να δείτε περισσότερα αποτελέσματα ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Μπορείτε να δείτε τα αποτελέσματα στον προεπιλεγμένο περιηγητή σας +Μπορείτε να ελέγξετε τα αποτελέσματα στον προεπιλεγμένο περιηγητή σας ![pfresult](../../../../../../translated_images/el/pfresult.c22c826f8062d7cb.webp) -**Αποποίηση ευθυνών**: -Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI [Co-op Translator](https://github.com/Azure/co-op-translator). Παρόλο που επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη γλώσσα του θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης. \ No newline at end of file +--- + + +**Αποποίηση ευθυνών**: +Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης με τεχνητή νοημοσύνη [Co-op Translator](https://github.com/Azure/co-op-translator). Ενώ επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης. + \ No newline at end of file diff --git a/translations/en/.co-op-translator.json b/translations/en/.co-op-translator.json index 64a53d026..0ba892d41 100644 --- a/translations/en/.co-op-translator.json +++ b/translations/en/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:13:32+00:00", + "translation_date": "2026-07-29T16:36:33+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "en" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:38:02+00:00", + "translation_date": "2026-07-29T16:37:11+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "en" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:56:15+00:00", + "translation_date": "2026-07-29T16:36:49+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "en" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:56:04+00:00", + "translation_date": "2026-07-29T16:36:07+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "en" }, diff --git a/translations/en/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/en/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 5cb17c1d4..dcd316689 100644 --- a/translations/en/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/en/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ +# **Quantizing Phi Family using Generative AI extensions for onnxruntime** + +## **What's Generative AI extensions for onnxruntime** + +These extensions help you run generative AI with ONNX Runtime( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). It provides the generative AI loop for ONNX models, including inference with ONNX Runtime, logits processing, search and sampling, and KV cache management. Developers can call a high-level generate() method, or run each iteration of the model in a loop, generating one token at a time, and optionally updating generation parameters inside the loop. It supports greedy/beam search and TopP, TopK sampling to generate token sequences and built-in logits processing like repetition penalties. You can also easily add custom scoring. + +At the application level, you can use Generative AI extensions for onnxruntime to build applications using C++/ C# / Python. At the model level, you can use it to merge fine-tuned models and do related quantitative deployment work. + + +## **Quantizing Phi-3.5 with Generative AI extensions for onnxruntime** + +### **Supported Models** + +Generative AI extensions for onnxruntime support quantization conversion of Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder in Generative AI extensions for onnxruntime** + +The model builder greatly accelerates creating optimized and quantized ONNX models that run with the ONNX Runtime generate() API. + +Through Model Builder, you can quantize the model to INT4, INT8, FP16, FP32, and combine different hardware acceleration methods such as CPU, CUDA, DirectML, Mobile, etc. + +To use Model Builder you need to install + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +After installation, you can run the Model Builder script from the terminal to perform model format and quantization conversion. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Understand the relevant parameters + +1. **model_name** This is the model on Hugging Face, such as microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. It can also be the path where you store the model + +2. **path_to_output_folder** Quantized conversion save path + +3. **execution_provider** Different hardware acceleration support, such as cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** We download the model from Hugging Face and cache it locally + + + + +***Note：*** + ## **How to use Model Builder to quantize Phi-3.5** -Model Builder now supports ONNX model quantization for Phi-3.5 Instruct and Phi-3.5-Vision. +Model Builder now supports ONNX model quantization for Phi-3.5 Instruct and Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU accelerated conversion to quantized INT4** + +**CPU accelerated conversion of quantized INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA accelerated conversion to quantized INT4** +**CUDA accelerated conversion of quantized INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Set up the environment in the terminal +1. Set environment in terminal ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Download microsoft/Phi-3.5-vision-instruct into the models folder +2. Download microsoft/Phi-3.5-vision-instruct in models folder [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Please download these files into your Phi-3.5-vision-instruct folder +3. Please download these files to Your Phi-3.5-vision-instruct folder - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Download this file into the models folder + +4. Download this file to models folder [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Go to the terminal +5. Go to terminal + + Convert ONNX support with FP32 - Convert ONNX model with FP32 support ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Note:** -1. Model Builder currently supports conversion for Phi-3.5-Instruct and Phi-3.5-Vision, but not Phi-3.5-MoE. +### **Note：** + +1. Model Builder currently supports the conversion of Phi-3.5-Instruct and Phi-3.5-Vision, but not Phi-3.5-MoE -2. To use ONNX quantized models, you can access them through the Generative AI extensions for onnxruntime SDK. +2. To use ONNX's quantized model, you can use it through Generative AI extensions for onnxruntime SDK -3. Responsible AI considerations are important, so after quantization, it is recommended to perform thorough testing to ensure effective results. +3. We need to consider more responsible AI, so after the model quantization conversion, it is recommended to conduct more effective result testing + +4. By quantizing the CPU INT4 model, we can deploy it to Edge Devices, which has better application scenarios, so we have completed Phi-3.5-Instruct around INT4 -4. By quantizing the CPU INT4 model, deployment to Edge Devices becomes possible, offering better application scenarios. Therefore, we have completed Phi-3.5-Instruct quantization around INT4. ## **Resources** -1. Learn more about Generative AI extensions for onnxruntime: [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Learn more about Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI extensions for onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub Repo: [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Disclaimer**: -This document has been translated using the AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. \ No newline at end of file + +**Disclaimer**: +This document has been translated using AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. + \ No newline at end of file diff --git a/translations/en/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/en/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 1fbb3a764..e5ded86a2 100644 --- a/translations/en/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/en/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Guideline for OnnxRuntime GenAI Windows GPU** +# **Guideline for OnnxRuntime GenAI Windows GPU** -This guideline provides steps for setting up and using ONNX Runtime (ORT) with GPUs on Windows. It’s designed to help you take advantage of GPU acceleration for your models, enhancing performance and efficiency. +This guideline provides steps for setting up and using the ONNX Runtime (ORT) with GPUs on Windows. It's designed to help you leverage GPU acceleration for your models, improving performance and efficiency. -The document covers: +The document provides guidance on: -- Environment Setup: Instructions for installing necessary dependencies like CUDA, cuDNN, and ONNX Runtime. -- Configuration: How to configure the environment and ONNX Runtime to effectively use GPU resources. -- Optimization Tips: Recommendations for fine-tuning your GPU settings for the best performance. +- Environment Setup: Instructions on installing the necessary dependencies like CUDA, cuDNN, and ONNX Runtime. +- Configuration: How to configure the environment and ONNX Runtime to utilize GPU resources effectively. +- Optimization Tips: Advice on how to fine-tune your GPU settings for optimal performance. -### **1. Python 3.10.x / 3.11.8** +### **1. Python 3.10.x /3.11.8** - ***Note*** It is recommended to use [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) as your Python environment + ***Note*** Suggest use [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) as your Python env ```bash @@ -20,10 +20,11 @@ The document covers: ``` - ***Reminder*** If you have installed any Python ONNX libraries, please uninstall them + ***Reminder*** If you have intall any about python ONNX library, please uninstall it ### **2. Install CMake with winget** + ```bash winget install -e --id Kitware.CMake @@ -32,10 +33,11 @@ The document covers: ### **3. Install Visual Studio 2022 - Desktop Development with C++** - ***Note*** You can skip this step if you don’t need to compile + ***Note*** If you not want to compile you can skip this step ![CPP](../../../../../../translated_images/en/01.42f52a2b2aedff02.webp) + ### **4. Install NVIDIA Driver** 1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ The document covers: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Please use the default settings during installation +***Reminder*** Please use default settings with Installation flow -### **5. Set NVIDIA Environment** +### **5. Set NVIDIA Env** -Copy NVIDIA CUDNN 9.4 lib, bin, and include files to NVIDIA CUDA 12.4 lib, bin, and include folders +Copy NVIDIA CUDNN 9.4 lib,bin,include to NVIDIA CUDA 12.4 lib,bin,include -- Copy files from *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* to *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- copy *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* files to *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- Copy files from *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* to *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- copy *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* files to *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- copy *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* files to *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- Copy files from *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* to *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Download Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ Copy NVIDIA CUDNN 9.4 lib, bin, and include files to NVIDIA CUDA 12.4 lib, bin, ``` -### **7. Running InferencePhi35Instruct.ipynb** +### **7. Runing InferencePhi35Instruct.ipynb** + + Open [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) and execute - Open [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) and run it ![RESULT](../../../../../../translated_images/en/02.b9b06996cf7255d5.webp) + ### **8. Compile ORT GenAI GPU** + ***Note*** - 1. Please uninstall all onnx, onnxruntime, and onnxruntime-genai packages first + 1. Please uninstall all about onnx and onnxruntime and onnxruntime-genai firstly + ```bash pip list ``` - Then uninstall all onnxruntime libraries, for example: + Then uninstall all onnxruntime libraries i.e. + ```bash @@ -102,11 +111,15 @@ Copy NVIDIA CUDNN 9.4 lib, bin, and include files to NVIDIA CUDA 12.4 lib, bin, 2. Check Visual Studio Extension support - Verify that the folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras contains the folder visual_studio_integration at C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Check C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras to ensure C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration is found. - If it’s missing, check other CUDA toolkit driver folders and copy the visual_studio_integration folder and its contents to C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + If not found check other Cuda toolkit driver folders and copy the visual_studio_integration folder and contents to C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - If you not want to compile you can skip this step - - You can skip this step if you don’t want to compile ```bash @@ -116,14 +129,15 @@ Copy NVIDIA CUDNN 9.4 lib, bin, and include files to NVIDIA CUDA 12.4 lib, bin, - Download [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Unzip onnxruntime-win-x64-gpu-1.19.2.zip, rename the folder to **ort**, and copy the ort folder into onnxruntime-genai + - Unzip onnxruntime-win-x64-gpu-1.19.2.zip ,and rename it to **ort**,copy ort folder to onnxruntime-genai - - Using Windows Terminal, open the Developer Command Prompt for VS 2022 and navigate to onnxruntime-genai + - Using Windows Terminal,go to Deveopler Command Prompt for VS 2022 and go to onnxruntime-genai ![RESULT](../../../../../../translated_images/en/03.b83ce473d5ff9b9b.webp) - - Compile it using your Python environment + - Compile it with your python env + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Copy NVIDIA CUDNN 9.4 lib, bin, and include files to NVIDIA CUDA 12.4 lib, bin, ``` -**Disclaimer**: -This document has been translated using the AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. \ No newline at end of file +--- + + +**Disclaimer**: +This document has been translated using AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. + \ No newline at end of file diff --git a/translations/en/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/en/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index e1aee8ceb..b1f001cb1 100644 --- a/translations/en/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/en/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -26,33 +26,34 @@ Read this guideline to set ONNX Runtime GenAI for Windows GPU [click here](./OR ![pfvscode](../../../../../../translated_images/en/pfvscode.eff93dfc66a42cbe.webp) -2. After installing the Prompt flow VS Code Extension, click the extension and choose **Installation dependencies**. Follow this guideline to install the Prompt flow SDK in your environment. +2. After installing the Prompt flow VS Code Extension, click the extension, and choose **Installation dependencies**; follow this guideline to install Prompt flow SDK in your environment ![pfsetup](../../../../../../translated_images/en/pfsetup.b46e93096f5a254f.webp) -3. Download [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) and open this sample in VS Code. +3. Download [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) and use VS Code to open this sample ![pfsample](../../../../../../translated_images/en/pfsample.8d89e70584ffe7c4.webp) -4. Open **flow.dag.yaml** to select your Python environment. +4. Open **flow.dag.yaml** to choose your Python environment ![pfdag](../../../../../../translated_images/en/pfdag.264a77f7366458ff.webp) - Open **chat_phi3_ort.py** to update the location of your Phi-3.5-instruct ONNX Model. + Open **chat_phi3_ort.py** to change your Phi-3.5-instruct ONNX Model location ![pfphi](../../../../../../translated_images/en/pfphi.72da81d74244b45f.webp) -5. Run your prompt flow to test it. +5. Run your prompt flow to test -Open **flow.dag.yaml** and click the visual editor. +Open **flow.dag.yaml** and click visual editor ![pfv](../../../../../../translated_images/en/pfv.ba8a81f34b20f603.webp) -After clicking this, run it to test. +After clicking this, run it to test ![pfflow](../../../../../../translated_images/en/pfflow.4e1135a089b1ce1b.webp) -1. You can run batch commands in the terminal to check more results. +1. You can run batch in terminal to check more results + ```bash @@ -60,9 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -You can view the results in your default browser. +You can check results in your default browser + ![pfresult](../../../../../../translated_images/en/pfresult.c22c826f8062d7cb.webp) -**Disclaimer**: -This document has been translated using the AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. \ No newline at end of file +--- + + +**Disclaimer**: +This document has been translated using AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. + \ No newline at end of file diff --git a/translations/en/md/03.FineTuning/FineTuning_MLX.md b/translations/en/md/03.FineTuning/FineTuning_MLX.md index cb74fd181..67da1d829 100644 --- a/translations/en/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/en/md/03.FineTuning/FineTuning_MLX.md @@ -1,14 +1,17 @@ # **Fine-tuning Phi-3 with Apple MLX Framework** -We can perform fine-tuning combined with LoRA through the Apple MLX framework command line. (If you want to learn more about how the MLX Framework works, please read [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)) +We can complete Fine-tuning combined with Lora through the Apple MLX framework command line. (If you want to know more about the operation of MLX Framework, please read [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md) + ## **1. Data preparation** -By default, the MLX Framework requires train, test, and eval data in jsonl format, and uses LoRA to complete fine-tuning tasks. +By default, MLX Framework requires the jsonl format of train, test, and eval, and is combined with Lora to complete fine-tuning jobs. + ### ***Note:*** -1. jsonl data format: +1. jsonl data format ： + ```json @@ -19,15 +22,17 @@ By default, the MLX Framework requires train, test, and eval data in jsonl forma ``` -2. Our example uses [TruthfulQA's data](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv), but the dataset is relatively small, so the fine-tuning results may not be optimal. We recommend learners use better data suited to their own scenarios. +2. Our example uses [TruthfulQA's data](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv) , but the amount of data is relatively insufficient, so the fine-tuning results are not necessarily the best. It is recommended that learners use better data based on their own scenarios to complete. -3. The data format follows the Phi-3 template. +3. The data format is combined with the Phi-3 template + +Please download data from this [link](../../../../code/04.Finetuning/mlx), please include all .jsonl in ***data*** folder -Please download the data from this [link](../../../../code/04.Finetuning/mlx), including all .jsonl files in the ***data*** folder. ## **2. Fine-tuning in your terminal** -Run this command in your terminal: +Please run this command in terminal + ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` + ## ***Note:*** -1. This is LoRA fine-tuning; the MLX framework does not support QLoRA. +1. This is LoRA fine-tuning, MLX framework not published QLoRA + +2. You can set config.yaml to change some arguments,such as -2. You can modify config.yaml to change some parameters, such as: ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -Run this command in your terminal: +Please run this command in terminal + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. Run fine-tuning adapter to test** -You can run the fine-tuning adapter in the terminal like this: +## **3. Run Fine-tuning adapter to test** + +You can run fine-tuning adapter in terminal,like this + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -And run the original model to compare results: +and run original model to compare result + ```bash @@ -135,19 +146,22 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -Try comparing the fine-tuned results with the original model. +You can try to compare the results of Fine-tuning with the original model + ## **4. Merge adapters to generate new models** + ```bash python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ``` -## **5. Running quantized fine-tuning models using ollama** +## **5. Running quantified fine-tuning models using ollama** + +Before use, please configure your llama.cpp environment -Before use, please set up your llama.cpp environment. ```bash @@ -161,13 +175,14 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***Note:*** +***Note:*** + +1. Now supports quantization conversion of fp32, fp16 and INT 8 -1. Currently supports quantization conversion for fp32, fp16, and INT8. +2. The merged model is missing tokenizer.model, please download it from https://huggingface.co/microsoft/Phi-3-mini-4k-instruct -2. The merged model lacks tokenizer.model; please download it from https://huggingface.co/microsoft/Phi-3-mini-4k-instruct +set a [Ollma Model](https://ollama.com/) -Set up an [Ollama Model](https://ollama.com/) ```txt @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -Run this command in the terminal: +run command in terminal + ```bash @@ -186,7 +202,11 @@ Run this command in the terminal: ``` -Congratulations! You’ve mastered fine-tuning with the MLX Framework. +Congratulations! Master fine-tuning with the MLX Framework + +--- -**Disclaimer**: -This document has been translated using AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. \ No newline at end of file + +**Disclaimer**: +This document has been translated using AI translation service [Co-op Translator](https://github.com/Azure/co-op-translator). While we strive for accuracy, please be aware that automated translations may contain errors or inaccuracies. The original document in its native language should be considered the authoritative source. For critical information, professional human translation is recommended. We are not liable for any misunderstandings or misinterpretations arising from the use of this translation. + \ No newline at end of file diff --git a/translations/es/.co-op-translator.json b/translations/es/.co-op-translator.json index 0093bbff9..0e9ad3766 100644 --- a/translations/es/.co-op-translator.json +++ b/translations/es/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:14:08+00:00", + "translation_date": "2026-07-29T16:38:52+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "es" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:38:25+00:00", + "translation_date": "2026-07-29T16:39:52+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "es" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:56:33+00:00", + "translation_date": "2026-07-29T16:39:17+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "es" }, diff --git a/translations/es/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/es/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 06cfc2662..0f6071612 100644 --- a/translations/es/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/es/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Cómo usar Model Builder para cuantizar Phi-3.5** +# **Cuantificación de la familia Phi usando extensiones de IA generativa para onnxruntime** -Model Builder ahora soporta la cuantización de modelos ONNX para Phi-3.5 Instruct y Phi-3.5-Vision +## **Qué son las extensiones de IA generativa para onnxruntime** + +Estas extensiones te ayudan a ejecutar IA generativa con ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Proporcionan el ciclo de IA generativa para modelos ONNX, incluyendo inferencia con ONNX Runtime, procesamiento de logits, búsqueda y muestreo, y gestión de caché KV. Los desarrolladores pueden llamar a un método generate() de alto nivel, o ejecutar cada iteración del modelo en un bucle, generando un token a la vez y opcionalmente actualizando parámetros de generación dentro del bucle. Tiene soporte para búsqueda greedy/beam y muestreo TopP, TopK para generar secuencias de tokens y procesamiento de logits incorporado como penalizaciones por repetición. También puedes añadir facilidad para puntuación personalizada. + +A nivel de aplicación, puedes usar las extensiones de IA generativa para onnxruntime para crear aplicaciones usando C++ / C# / Python. A nivel de modelo, puedes usarlas para fusionar modelos afinados y realizar trabajos relacionados de despliegue cuantitativo. + + +## **Cuantificación de Phi-3.5 con extensiones de IA generativa para onnxruntime** + +### **Modelos compatibles** + +Las extensiones de IA generativa para onnxruntime soportan la conversión de cuantificación de Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Constructor de modelos en las extensiones de IA generativa para onnxruntime** + +El constructor de modelos acelera enormemente la creación de modelos ONNX optimizados y cuantificados que funcionan con la API generate() de ONNX Runtime. + +A través del Constructor de Modelos, puedes cuantificar el modelo a INT4, INT8, FP16, FP32, y combinar diferentes métodos de aceleración de hardware como CPU, CUDA, DirectML, Mobile, etc. + +Para usar el Constructor de Modelos necesitas instalar + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Después de la instalación, puedes ejecutar el script del Constructor de Modelos desde la terminal para realizar la conversión de formato y cuantificación del modelo. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Entiende los parámetros relevantes + +1. **model_name** Este es el modelo en Hugging Face, como microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. También puede ser la ruta donde almacenas el modelo. + +2. **path_to_output_folder** Ruta donde se guarda la conversión cuantificada. + +3. **execution_provider** Diferente soporte para aceleración de hardware, como cpu, cuda, DirectML. + +4. **cache_dir_to_save_hf_files** Descargamos el modelo desde Hugging Face y lo almacenamos en caché local. + + + + +***Nota：*** + +## **Cómo usar el Constructor de Modelos para cuantificar Phi-3.5** + +El Constructor de Modelos actualmente soporta la cuantificación de modelos ONNX para Phi-3.5 Instruct y Phi-3.5-Vision. ### **Phi-3.5-Instruct** -**Conversión acelerada por CPU a INT4 cuantizado** + +**Conversión acelerada por CPU de la cuantificación INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Conversión acelerada por CUDA a INT4 cuantizado** +**Conversión acelerada por CUDA de la cuantificación INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Descarga microsoft/Phi-3.5-vision-instruct en la carpeta models +2. Descarga microsoft/Phi-3.5-vision-instruct en la carpeta models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Descarga estos archivos en tu carpeta Phi-3.5-vision-instruct +3. Por favor, descarga estos archivos en tu carpeta Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Descarga este archivo en la carpeta models + +4. Descarga este archivo en la carpeta models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Ve a la terminal - Convierte el soporte ONNX con FP32 + Convierte soporte ONNX con FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Nota:** -1. Model Builder actualmente soporta la conversión de Phi-3.5-Instruct y Phi-3.5-Vision, pero no Phi-3.5-MoE +### **Nota：** + +1. Actualmente el Constructor de Modelos soporta la conversión de Phi-3.5-Instruct y Phi-3.5-Vision, pero no Phi-3.5-MoE -2. Para usar el modelo cuantizado de ONNX, puedes hacerlo a través del SDK de Generative AI extensions for onnxruntime +2. Para usar el modelo cuantificado ONNX, puedes usarlo a través del SDK de las extensiones de IA generativa para onnxruntime -3. Debemos considerar una IA más responsable, por lo que después de la conversión de cuantización del modelo, se recomienda realizar pruebas más efectivas de los resultados +3. Necesitamos considerar una IA más responsable, por lo que después de la conversión de cuantificación del modelo, es recomendable realizar pruebas de resultados más efectivas + +4. Cuantificando el modelo CPU INT4, podemos desplegarlo en dispositivos Edge, que tienen mejores escenarios de aplicación, por lo que hemos completado Phi-3.5-Instruct alrededor de INT 4 -4. Al cuantizar el modelo CPU INT4, podemos desplegarlo en dispositivos Edge, lo que ofrece mejores escenarios de aplicación, por eso hemos completado Phi-3.5-Instruct en torno a INT4 ## **Recursos** -1. Aprende más sobre Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Aprende más sobre las extensiones de IA generativa para onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repositorio GitHub de las extensiones de IA generativa para onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repositorio GitHub de Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Aviso legal**: -Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Aunque nos esforzamos por la precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas derivadas del uso de esta traducción. \ No newline at end of file + +**Descargo de responsabilidad**: +Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Aunque nos esforzamos por la precisión, tenga en cuenta que las traducciones automatizadas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda una traducción profesional humana. No somos responsables de cualquier malentendido o interpretación errónea que surja del uso de esta traducción. + \ No newline at end of file diff --git a/translations/es/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/es/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index e5b98691a..0398b6ee0 100644 --- a/translations/es/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/es/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Guía para OnnxRuntime GenAI Windows GPU** -Esta guía proporciona los pasos para configurar y usar ONNX Runtime (ORT) con GPUs en Windows. Está diseñada para ayudarte a aprovechar la aceleración por GPU en tus modelos, mejorando el rendimiento y la eficiencia. +Esta guía proporciona pasos para configurar y usar ONNX Runtime (ORT) con GPUs en Windows. Está diseñada para ayudarte a aprovechar la aceleración de GPU para tus modelos, mejorando el rendimiento y la eficiencia. El documento ofrece orientación sobre: - Configuración del entorno: Instrucciones para instalar las dependencias necesarias como CUDA, cuDNN y ONNX Runtime. -- Configuración: Cómo configurar el entorno y ONNX Runtime para utilizar eficazmente los recursos de la GPU. -- Consejos de optimización: Recomendaciones para ajustar la configuración de la GPU y obtener el mejor rendimiento. +- Configuración: Cómo configurar el entorno y ONNX Runtime para utilizar recursos de GPU de forma efectiva. +- Consejos de optimización: Recomendaciones para ajustar la configuración de tu GPU para un rendimiento óptimo. ### **1. Python 3.10.x /3.11.8** - ***Nota*** Se recomienda usar [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) como tu entorno de Python + ***Nota*** Se sugiere usar [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) como tu entorno de Python ```bash @@ -20,44 +20,48 @@ El documento ofrece orientación sobre: ``` - ***Recordatorio*** Si tienes instalada alguna librería de ONNX para Python, por favor desinstálala + ***Recordatorio*** Si has instalado alguna biblioteca de Python ONNX, por favor desinstálala ### **2. Instalar CMake con winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Instalar Visual Studio 2022 - Desarrollo de escritorio con C++** +### **3. Instalar Visual Studio 2022 - Desarrollo de Escritorio con C++** - ***Nota*** Si no quieres compilar, puedes saltarte este paso + ***Nota*** Si no deseas compilar, puedes omitir este paso ![CPP](../../../../../../translated_images/es/01.42f52a2b2aedff02.webp) -### **4. Instalar el controlador NVIDIA** -1. **Controlador GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. Instalar Driver NVIDIA** + +1. **Driver NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Recordatorio*** Por favor, usa la configuración predeterminada durante la instalación +***Recordatorio*** Por favor usa la configuración por defecto en el proceso de instalación ### **5. Configurar entorno NVIDIA** -Copia las carpetas lib, bin, include de NVIDIA CUDNN 9.4 a NVIDIA CUDA 12.4 lib, bin, include +Copia las carpetas lib, bin, include de NVIDIA CUDNN 9.4 a NVIDIA CUDA 12.4(lib, bin, include) -- Copia los archivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- copia los archivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- Copia los archivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- copia los archivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- copia los archivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- Copia los archivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Descargar Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Copia las carpetas lib, bin, include de NVIDIA CUDNN 9.4 a NVIDIA CUDA 12.4 lib, ### **7. Ejecutar InferencePhi35Instruct.ipynb** - Abre el [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) y ejecútalo + Abre [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) y ejecútalo + ![RESULT](../../../../../../translated_images/es/02.b9b06996cf7255d5.webp) + ### **8. Compilar ORT GenAI GPU** + ***Nota*** - 1. Por favor, desinstala primero todo lo relacionado con onnx, onnxruntime y onnxruntime-genai + 1. Por favor desinstala todo lo relacionado con onnx, onnxruntime y onnxruntime-genai primero + ```bash pip list ``` - Luego desinstala todas las librerías onnxruntime, por ejemplo: + Luego desinstala todas las bibliotecas de onnxruntime, es decir, + ```bash @@ -100,13 +109,17 @@ Copia las carpetas lib, bin, include de NVIDIA CUDNN 9.4 a NVIDIA CUDA 12.4 lib, ``` - 2. Verificar soporte de la extensión de Visual Studio + 2. Verifica el soporte de la extensión de Visual Studio - Revisa en C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras para asegurarte de que existe la carpeta C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Revisa en C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras para asegurarte de que se encuentre C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Si no está, busca en otras carpetas del toolkit CUDA y copia la carpeta visual_studio_integration y su contenido a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Si no se encuentra, revisa otras carpetas del toolkit de Cuda y copia la carpeta visual_studio_integration y su contenido a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Si no quieres compilar, puedes omitir este paso - - Si no quieres compilar, puedes saltarte este paso ```bash @@ -116,14 +129,15 @@ Copia las carpetas lib, bin, include de NVIDIA CUDNN 9.4 a NVIDIA CUDA 12.4 lib, - Descarga [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Descomprime onnxruntime-win-x64-gpu-1.19.2.zip, renómbralo a **ort** y copia la carpeta ort dentro de onnxruntime-genai + - Descomprime onnxruntime-win-x64-gpu-1.19.2.zip, y renómbralo como **ort**, copia la carpeta ort a onnxruntime-genai - - Usando Windows Terminal, abre Developer Command Prompt para VS 2022 y navega a onnxruntime-genai + - Usando Windows Terminal, abre Developer Command Prompt para VS 2022 y navega a onnxruntime-genai ![RESULT](../../../../../../translated_images/es/03.b83ce473d5ff9b9b.webp) - - Compílalo con tu entorno de Python + - Compílalo con tu entorno de python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Copia las carpetas lib, bin, include de NVIDIA CUDNN 9.4 a NVIDIA CUDA 12.4 lib, ``` -**Aviso legal**: -Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Aunque nos esforzamos por la precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas derivadas del uso de esta traducción. \ No newline at end of file +--- + + +**Descargo de responsabilidad**: +Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Aunque nos esforzamos por la precisión, tenga en cuenta que las traducciones automatizadas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda una traducción profesional humana. No somos responsables de cualquier malentendido o interpretación errónea que surja del uso de esta traducción. + \ No newline at end of file diff --git a/translations/es/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/es/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index d6a9f9a08..0440f21a4 100644 --- a/translations/es/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/es/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,18 +1,18 @@ -# Usando GPU de Windows para crear una solución Prompt flow con Phi-3.5-Instruct ONNX +# Usando GPU de Windows para crear una solución de Prompt flow con Phi-3.5-Instruct ONNX El siguiente documento es un ejemplo de cómo usar PromptFlow con ONNX (Open Neural Network Exchange) para desarrollar aplicaciones de IA basadas en modelos Phi-3. -PromptFlow es un conjunto de herramientas de desarrollo diseñadas para agilizar el ciclo completo de desarrollo de aplicaciones de IA basadas en LLM (Modelos de Lenguaje a Gran Escala), desde la ideación y el prototipado hasta las pruebas y la evaluación. +PromptFlow es un conjunto de herramientas de desarrollo diseñadas para simplificar el ciclo de desarrollo completo de aplicaciones de IA basadas en LLM (Large Language Model), desde la ideación y el prototipado hasta las pruebas y la evaluación. Al integrar PromptFlow con ONNX, los desarrolladores pueden: -- Optimizar el rendimiento del modelo: aprovechar ONNX para una inferencia y despliegue eficientes del modelo. -- Simplificar el desarrollo: usar PromptFlow para gestionar el flujo de trabajo y automatizar tareas repetitivas. -- Mejorar la colaboración: facilitar una mejor colaboración entre los miembros del equipo proporcionando un entorno de desarrollo unificado. +- Optimizar el rendimiento del modelo: Aprovechar ONNX para una inferencia y despliegue eficiente del modelo. +- Simplificar el desarrollo: Usar PromptFlow para gestionar el flujo de trabajo y automatizar tareas repetitivas. +- Mejorar la colaboración: Facilitar una mejor colaboración entre los miembros del equipo proporcionando un entorno de desarrollo unificado. -**Prompt flow** es un conjunto de herramientas de desarrollo diseñadas para agilizar el ciclo completo de desarrollo de aplicaciones de IA basadas en LLM, desde la ideación, prototipado, pruebas, evaluación hasta el despliegue en producción y monitoreo. Facilita mucho la ingeniería de prompts y te permite construir aplicaciones LLM con calidad de producción. +**Prompt flow** es un conjunto de herramientas de desarrollo diseñadas para optimizar el ciclo completo de desarrollo de aplicaciones de IA basadas en LLM, desde la ideación, prototipado, pruebas, evaluación hasta el despliegue y monitoreo en producción. Hace que la ingeniería de prompts sea mucho más fácil y te permite construir aplicaciones LLM con calidad de producción. -Prompt flow puede conectarse a OpenAI, Azure OpenAI Service y modelos personalizables (Huggingface, LLM/SLM locales). Esperamos desplegar el modelo ONNX cuantificado de Phi-3.5 en aplicaciones locales. Prompt flow puede ayudarnos a planificar mejor nuestro negocio y completar soluciones locales basadas en Phi-3.5. En este ejemplo, combinaremos ONNX Runtime GenAI Library para completar la solución Prompt flow basada en GPU de Windows. +Prompt flow puede conectarse a OpenAI, Azure OpenAI Service y modelos personalizables (Huggingface, LLM/SLM local). Esperamos desplegar el modelo ONNX cuantizado Phi-3.5 a aplicaciones locales. Prompt flow puede ayudarnos a planificar mejor nuestro negocio y completar soluciones locales basadas en Phi-3.5. En este ejemplo, combinaremos la biblioteca ONNX Runtime GenAI para completar la solución Prompt flow basada en GPU de Windows. ## **Instalación** @@ -22,37 +22,37 @@ Lee esta guía para configurar ONNX Runtime GenAI para GPU de Windows [haz clic ### **Configurar Prompt flow en VSCode** -1. Instala la extensión Prompt flow para VS Code +1. Instalar la extensión Prompt flow para VS Code ![pfvscode](../../../../../../translated_images/es/pfvscode.eff93dfc66a42cbe.webp) -2. Después de instalar la extensión Prompt flow para VS Code, haz clic en la extensión y elige **Installation dependencies**; sigue esta guía para instalar el SDK de Prompt flow en tu entorno +2. Después de instalar la extensión Prompt flow para VS Code, haz clic en la extensión y elige **Dependencias de instalación** para seguir esta guía e instalar el SDK de Prompt flow en tu entorno ![pfsetup](../../../../../../translated_images/es/pfsetup.b46e93096f5a254f.webp) -3. Descarga el [Código de ejemplo](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) y usa VS Code para abrir este ejemplo +3. Descarga el [Código de Ejemplo](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) y usa VS Code para abrir este ejemplo ![pfsample](../../../../../../translated_images/es/pfsample.8d89e70584ffe7c4.webp) -4. Abre **flow.dag.yaml** para seleccionar tu entorno Python +4. Abre **flow.dag.yaml** para elegir tu entorno de Python ![pfdag](../../../../../../translated_images/es/pfdag.264a77f7366458ff.webp) - Abre **chat_phi3_ort.py** para cambiar la ubicación de tu modelo Phi-3.5-instruct ONNX + Abre **chat_phi3_ort.py** para cambiar la ubicación de tu modelo ONNX Phi-3.5-instruct ![pfphi](../../../../../../translated_images/es/pfphi.72da81d74244b45f.webp) -5. Ejecuta tu prompt flow para hacer pruebas +5. Ejecuta tu prompt flow para probarlo Abre **flow.dag.yaml** y haz clic en el editor visual ![pfv](../../../../../../translated_images/es/pfv.ba8a81f34b20f603.webp) -Después de hacer clic, ejecútalo para probar +después de hacer clic, ejecútalo para probar ![pfflow](../../../../../../translated_images/es/pfflow.4e1135a089b1ce1b.webp) -1. Puedes ejecutar en batch desde la terminal para revisar más resultados +1. Puedes ejecutar por lotes en la terminal para revisar más resultados ```bash @@ -66,5 +66,9 @@ Puedes ver los resultados en tu navegador predeterminado ![pfresult](../../../../../../translated_images/es/pfresult.c22c826f8062d7cb.webp) -**Aviso legal**: -Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Aunque nos esforzamos por la precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas derivadas del uso de esta traducción. \ No newline at end of file +--- + + +**Descargo de responsabilidad**: +Este documento ha sido traducido utilizando el servicio de traducción automática [Co-op Translator](https://github.com/Azure/co-op-translator). Aunque nos esforzamos por la precisión, tenga en cuenta que las traducciones automatizadas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda una traducción profesional humana. No somos responsables de cualquier malentendido o interpretación errónea que surja del uso de esta traducción. + \ No newline at end of file diff --git a/translations/et/.co-op-translator.json b/translations/et/.co-op-translator.json index b2c3eb3bc..fb86a5a79 100644 --- a/translations/et/.co-op-translator.json +++ b/translations/et/.co-op-translator.json @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-10-11T12:05:53+00:00", + "translation_date": "2026-07-29T17:51:17+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "et" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-10-11T12:10:18+00:00", + "translation_date": "2026-07-29T17:50:51+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "et" }, diff --git a/translations/et/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/et/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 74abd73a7..94a6369b1 100644 --- a/translations/et/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/et/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Juhend OnnxRuntime GenAI Windows GPU jaoks** -See juhend sisaldab samme ONNX Runtime (ORT) seadistamiseks ja kasutamiseks GPU-dega Windowsis. Selle eesmärk on aidata teil kasutada GPU kiirendust oma mudelite jaoks, parandades jõudlust ja efektiivsust. +See juhend annab sammud ONNX Runtime (ORT) seadistamiseks ja kasutamiseks GPU-dega Windowsis. See on mõeldud aitamaks teil kasutada oma mudelite jaoks GPU kiirendust, parandades jõudlust ja efektiivsust. Dokument sisaldab juhiseid: -- Keskkonna seadistamine: Juhised vajalike sõltuvuste, nagu CUDA, cuDNN ja ONNX Runtime, installimiseks. -- Konfiguratsioon: Kuidas seadistada keskkonda ja ONNX Runtime'i, et kasutada GPU ressursse tõhusalt. -- Optimeerimisnõuanded: Soovitused GPU seadete peenhäälestamiseks parima jõudluse saavutamiseks. +- Keskkonna seadistamine: juhised vajalike sõltuvuste nagu CUDA, cuDNN ja ONNX Runtime paigaldamiseks. +- Konfigureerimine: Kuidas seadistada keskkond ja ONNX Runtime GPU ressursside tõhusaks kasutamiseks. +- Optimeerimisnõuanded: soovitused, kuidas GPU seadeid optimaalse jõudluse saavutamiseks häälestada. ### **1. Python 3.10.x /3.11.8** - ***Märkus*** Soovitatav kasutada [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kui Python keskkonda. + ***Märkus*** Soovitatav on kasutada [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) oma Python keskkonnana ```bash @@ -20,9 +20,10 @@ Dokument sisaldab juhiseid: ``` - ***Meeldetuletus*** Kui olete installinud mõne ONNX Python teegi, desinstallige see esmalt. + ***Meeldetuletus*** Kui olete installinud mõne Python ONNX teegi, palun eemaldage see esmalt + +### **2. Paigalda CMake kasutades winget** -### **2. Installige CMake wingetiga** ```bash @@ -30,13 +31,14 @@ Dokument sisaldab juhiseid: ``` -### **3. Installige Visual Studio 2022 - Desktop Development with C++** +### **3. Paigalda Visual Studio 2022 - Desktop Development with C++** + + ***Märkus*** Kui te ei soovi ise kompileerida, võite selle sammu vahele jätta - ***Märkus*** Kui te ei soovi kompileerida, võite selle sammu vahele jätta. +![CPP](../../../../../../translated_images/et/01.42f52a2b2aedff02.webp) -![CPP](../../../../../../imgs/02/pfonnx/01.png) -### **4. Installige NVIDIA draiver** +### **4. Paigalda NVIDIA draiver** 1. **NVIDIA GPU draiver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,19 +46,21 @@ Dokument sisaldab juhiseid: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Meeldetuletus*** Kasutage installimisel vaikeseadeid. +***Meeldetuletus*** Palun kasutage installimisel vaikevalikuid + +### **5. Sea NVIDIA keskkond** + +Kopeeri NVIDIA CUDNN 9.4 lib, bin, include failid NVIDIA CUDA 12.4 lib, bin, include kataloogidesse -### **5. Seadistage NVIDIA keskkond** +- kopeeri *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* failid kataloogi *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -Kopeerige NVIDIA CUDNN 9.4 lib, bin, include kaustad NVIDIA CUDA 12.4 lib, bin, include kaustadesse. +- kopeeri *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* failid kataloogi *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* -- kopeerige *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* failid *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* kausta. +- kopeeri *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* failid kataloogi *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopeerige *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* failid *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* kausta. -- kopeerige *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* failid *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* kausta. +### **6. Laadi alla Phi-3.5-mini-instruct-onnx** -### **6. Laadige alla Phi-3.5-mini-instruct-onnx** ```bash @@ -70,25 +74,30 @@ Kopeerige NVIDIA CUDNN 9.4 lib, bin, include kaustad NVIDIA CUDA 12.4 lib, bin, ``` -### **7. Käivitage InferencePhi35Instruct.ipynb** +### **7. Käivita InferencePhi35Instruct.ipynb** + + Ava [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ja käivita see + + +![RESULT](../../../../../../translated_images/et/02.b9b06996cf7255d5.webp) - Avage [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ja käivitage. -![RESULT](../../../../../../imgs/02/pfonnx/02.png) +### **8. Kompileeri ORT GenAI GPU** -### **8. Kompileerige ORT GenAI GPU** ***Märkus*** - 1. Desinstallige esmalt kõik ONNX, ONNX Runtime ja ONNX Runtime GenAI seotud teegid. + 1. Palun eemalda esmalt kõik onnx, onnxruntime ja onnxruntime-genai teegid + ```bash pip list ``` - Seejärel desinstallige kõik ONNX Runtime teegid, näiteks: + Seejärel eemalda kõik onnxruntime teegid näiteks + ```bash @@ -100,13 +109,17 @@ Kopeerige NVIDIA CUDNN 9.4 lib, bin, include kaustad NVIDIA CUDA 12.4 lib, bin, ``` - 2. Kontrollige Visual Studio laienduse tuge. + 2. Kontrolli Visual Studio laienduse tuge + + Kontrolli kataloogi C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, et seal oleks olemas C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + + Kui pole, siis vaata teisi CUDA tööriistakasti katalooge ja kopeeri visual_studio_integration kaust ja selle sisu C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration asukohta - Kontrollige, kas kaust *C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras* sisaldab *visual_studio_integration* kausta. - Kui seda ei leidu, otsige teistest CUDA tööriistakomplekti draiveri kaustadest ja kopeerige *visual_studio_integration* kaust koos sisuga *C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration* kausta. - - Kui te ei soovi kompileerida, võite selle sammu vahele jätta. + + - Kui te ei soovi kompileerida, võite selle sammu vahele jätta + ```bash @@ -114,16 +127,17 @@ Kopeerige NVIDIA CUDNN 9.4 lib, bin, include kaustad NVIDIA CUDA 12.4 lib, bin, ``` - - Laadige alla [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip). + - Laadi alla [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Pakkige lahti *onnxruntime-win-x64-gpu-1.19.2.zip*, nimetage see ümber **ort**-ks ja kopeerige *ort* kaust *onnxruntime-genai* kausta. + - Paki lahti onnxruntime-win-x64-gpu-1.19.2.zip, ja nimeta kaust ümber **ort**, kopeeri ort kaust onnxruntime-genai kausta - - Kasutage Windows Terminali, avage VS 2022 arendaja käsuviip ja minge *onnxruntime-genai* kausta. + - Kasutades Windows Terminali, ava Developer Command Prompt for VS 2022 ja mine onnxruntime-genai kausta -![RESULT](../../../../../../imgs/02/pfonnx/03.png) +![RESULT](../../../../../../translated_images/et/03.b83ce473d5ff9b9b.webp) - - Kompileerige see oma Python keskkonnas. + - Kompileeri see oma Python keskkonnas + ```bash cd onnxruntime-genai @@ -139,5 +153,7 @@ Kopeerige NVIDIA CUDNN 9.4 lib, bin, include kaustad NVIDIA CUDA 12.4 lib, bin, --- -**Lahtiütlus**: -See dokument on tõlgitud AI tõlketeenuse [Co-op Translator](https://github.com/Azure/co-op-translator) abil. Kuigi püüame tagada täpsust, palume arvestada, et automaatsed tõlked võivad sisaldada vigu või ebatäpsusi. Algne dokument selle algses keeles tuleks pidada autoriteetseks allikaks. Olulise teabe puhul soovitame kasutada professionaalset inimtõlget. Me ei vastuta selle tõlke kasutamisest tulenevate arusaamatuste või valesti tõlgenduste eest. \ No newline at end of file + +**Lahtiütlus**: +See dokument on tõlgitud kasutades AI tõlketeenust [Co-op Translator](https://github.com/Azure/co-op-translator). Kuigi me püüdleme täpsuse poole, palun pange tähele, et automatiseeritud tõlgetes võib esineda vigu või ebatäpsusi. Originaaldokument selle emakeeles tuleks pidada autoriteetseks allikaks. Olulise teabe puhul soovitatakse kasutada professionaalset inimtõlget. Me ei vastuta selle tõlkega seotud eksimustest või valesti mõistmistest. + \ No newline at end of file diff --git a/translations/et/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/et/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index eb4e48c82..99ed652b9 100644 --- a/translations/et/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/et/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,59 @@ -# Windows GPU kasutamine PromptFlow lahenduse loomiseks Phi-3.5-Instruct ONNX-iga +# Windowsi GPU kasutamine Phi-3.5-Instruct ONNX-ga Prompt flow lahenduse loomiseks -Järgnevas dokumendis on näide, kuidas kasutada PromptFlow'd koos ONNX-iga (Open Neural Network Exchange) AI-rakenduste arendamiseks, mis põhinevad Phi-3 mudelitel. +Järgmine dokument on näide sellest, kuidas kasutada PromptFlow't ONNX-i (Open Neural Network Exchange) abil Phi-3 mudelitel põhinevate AI rakenduste arendamiseks. -PromptFlow on arendustööriistade komplekt, mis on loodud LLM-põhiste (Large Language Model) AI-rakenduste arendustsükli lihtsustamiseks alates ideest ja prototüüpimisest kuni testimise ja hindamiseni. +PromptFlow on arendustööriistade komplekt, mis on loodud LLM-põhiste (suur keelemudel) AI-rakenduste kogu arendustsükli lihtsustamiseks, alates ideest ja prototüübist kuni testimise ja hindamiseni. -PromptFlow ja ONNX-i integreerimise abil saavad arendajad: +Integreerides PromptFlow ONNX-iga, saavad arendajad: -- Optimeerida mudeli jõudlust: Kasutada ONNX-i tõhusaks mudeli järeldamiseks ja juurutamiseks. -- Lihtsustada arendust: Kasutada PromptFlow'd töövoo haldamiseks ja korduvate ülesannete automatiseerimiseks. -- Parandada koostööd: Luua parem koostöö meeskonnaliikmete vahel, pakkudes ühtset arenduskeskkonda. +- Optimeerida mudeli jõudlust: kasutada ONNX-i tõhusa mudeli järeldamise ja juurutamise jaoks. +- Lihtsustada arendust: kasutada PromptFlow't töövoo haldamiseks ja korduvate ülesannete automatiseerimiseks. +- Edendada koostööd: soodustada paremat koostööd meeskonnaliikmete vahel, pakkudes ühtset arenduskeskkonda. -**PromptFlow** on arendustööriistade komplekt, mis on loodud LLM-põhiste AI-rakenduste arendustsükli lihtsustamiseks alates ideest, prototüüpimisest, testimisest, hindamisest kuni tootmisse juurutamise ja jälgimiseni. See muudab promptide inseneeria palju lihtsamaks ja võimaldab luua tootmiskvaliteediga LLM-rakendusi. +**Prompt flow** on arendustööriistade komplekt, mis on loodud LLM-põhiste AI-rakenduste kogu arendustsükli lihtsustamiseks alates ideest, prototüüpidest, testimisest, hindamisest kuni toodangusse juurutamise ja jälgimiseni. See teeb prompt engineeringu palju lihtsamaks ning võimaldab ehitada tootmiskvaliteediga LLM-rakendusi. -PromptFlow saab ühendada OpenAI, Azure OpenAI Service'i ja kohandatavate mudelitega (Huggingface, kohalikud LLM/SLM-id). Me soovime juurutada Phi-3.5 kvantiseeritud ONNX-mudelit kohalikes rakendustes. PromptFlow aitab meil paremini planeerida oma äri ja luua kohalikke lahendusi, mis põhinevad Phi-3.5-l. Selles näites ühendame ONNX Runtime GenAI Library, et luua PromptFlow lahendus, mis põhineb Windows GPU-l. +Prompt flow saab ühendada OpenAI, Azure OpenAI teenuse ja kohandatavate mudelitega (Huggingface, kohalik LLM/SLM). Lootus on juurutada Phi-3.5 kvantiseeritud ONNX mudel kohalike rakenduste jaoks. Prompt flow aitab meil paremini planeerida oma äri ja lõpule viia kohalikud lahendused Phi-3.5 alusel. Selles näites ühendame ONNX Runtime GenAI raamatukogu, et valmis saada Prompt flow lahendus Windowsi GPU alusel. ## **Paigaldamine** -### **ONNX Runtime GenAI Windows GPU jaoks** +### **ONNX Runtime GenAI Windowsi GPU jaoks** -Loe juhendit ONNX Runtime GenAI seadistamiseks Windows GPU jaoks [klõpsa siia](./ORTWindowGPUGuideline.md) +Loe seda juhendit ONNX Runtime GenAI seadistamiseks Windowsi GPU jaoks [kliki siia](./ORTWindowGPUGuideline.md) -### **PromptFlow seadistamine VSCode'is** +### **Prompt flow seadistamine VSCode'is** -1. Paigalda PromptFlow VS Code laiendus +1. Paigalda Prompt flow VS Code'i laiendus -![pfvscode](../../../../../../imgs/02/pfonnx/pfvscode.png) +![pfvscode](../../../../../../translated_images/et/pfvscode.eff93dfc66a42cbe.webp) -2. Pärast PromptFlow VS Code laienduse paigaldamist klõpsa laiendusel ja vali **Installation dependencies**, järgides juhendit PromptFlow SDK paigaldamiseks oma keskkonda. +2. Pärast Prompt flow VS Code'i laienduse paigaldamist klõpsa laiendusel ja vali **Installation dependencies** ning järgi seda juhendit, et paigaldada Prompt flow SDK oma keskkonda -![pfsetup](../../../../../../imgs/02/pfonnx/pfsetup.png) +![pfsetup](../../../../../../translated_images/et/pfsetup.b46e93096f5a254f.webp) -3. Laadi alla [Näidiskood](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ja ava see näidis VS Code'is. +3. Laadi alla [Näitekood](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ja ava see näidis VS Code'is -![pfsample](../../../../../../imgs/02/pfonnx/pfsample.png) +![pfsample](../../../../../../translated_images/et/pfsample.8d89e70584ffe7c4.webp) -4. Ava **flow.dag.yaml**, et valida oma Python keskkond. +4. Ava **flow.dag.yaml** ja vali oma Python keskkond -![pfdag](../../../../../../imgs/02/pfonnx/pfdag.png) +![pfdag](../../../../../../translated_images/et/pfdag.264a77f7366458ff.webp) - Ava **chat_phi3_ort.py**, et muuta oma Phi-3.5-instruct ONNX-mudeli asukohta. + Ava **chat_phi3_ort.py** ja muuda Phi-3.5-instruct ONNX mudeli asukohta -![pfphi](../../../../../../imgs/02/pfonnx/pfphi.png) +![pfphi](../../../../../../translated_images/et/pfphi.72da81d74244b45f.webp) -5. Käivita oma PromptFlow testimiseks. +5. Käivita oma prompt flow testimiseks -Ava **flow.dag.yaml** ja klõpsa visuaalsel redaktoril. +Ava **flow.dag.yaml** ja klõpsa visuaalset redaktorit -![pfv](../../../../../../imgs/02/pfonnx/pfv.png) +![pfv](../../../../../../translated_images/et/pfv.ba8a81f34b20f603.webp) -Pärast klõpsamist käivita see testimiseks. +Pärast klõpsamist käivita see testimiseks -![pfflow](../../../../../../imgs/02/pfonnx/pfflow.png) +![pfflow](../../../../../../translated_images/et/pfflow.4e1135a089b1ce1b.webp) + +1. Võid terminalis käivitada hulgikaudu, et näha rohkem tulemusi -1. Sa saad terminalis käivitada batch'i, et näha rohkem tulemusi. ```bash @@ -60,11 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Sa saad tulemusi vaadata oma vaikimisi veebibrauseris. +Tulemusi saad kontrollida oma vaikebrauseris + -![pfresult](../../../../../../imgs/02/pfonnx/pfresult.png) +![pfresult](../../../../../../translated_images/et/pfresult.c22c826f8062d7cb.webp) --- -**Lahtiütlus**: -See dokument on tõlgitud AI tõlketeenuse [Co-op Translator](https://github.com/Azure/co-op-translator) abil. Kuigi püüame tagada täpsust, palume arvestada, et automaatsed tõlked võivad sisaldada vigu või ebatäpsusi. Algne dokument selle algses keeles tuleks pidada autoriteetseks allikaks. Olulise teabe puhul soovitame kasutada professionaalset inimtõlget. Me ei vastuta selle tõlke kasutamisest tulenevate arusaamatuste või valesti tõlgenduste eest. \ No newline at end of file + +**Lahtiütlus**: +See dokument on tõlgitud kasutades AI tõlketeenust [Co-op Translator](https://github.com/Azure/co-op-translator). Kuigi me püüdleme täpsuse poole, palun pange tähele, et automatiseeritud tõlgetes võib esineda vigu või ebatäpsusi. Originaaldokument selle emakeeles tuleks pidada autoriteetseks allikaks. Olulise teabe puhul soovitatakse kasutada professionaalset inimtõlget. Me ei vastuta selle tõlkega seotud eksimustest või valesti mõistmistest. + \ No newline at end of file diff --git a/translations/fa/.co-op-translator.json b/translations/fa/.co-op-translator.json index 6a19f92cc..7c182880c 100644 --- a/translations/fa/.co-op-translator.json +++ b/translations/fa/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:15:18+00:00", + "translation_date": "2026-07-29T17:42:21+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "fa" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:39:14+00:00", + "translation_date": "2026-07-29T17:43:14+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "fa" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:57:18+00:00", + "translation_date": "2026-07-29T17:42:42+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "fa" }, diff --git a/translations/fa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/fa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index fb8f10143..c824756ef 100644 --- a/translations/fa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/fa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **چگونه از Model Builder برای کم‌حجم‌سازی Phi-3.5 استفاده کنیم** +# **کوانتیزه کردن خانواده فی با استفاده از افزونه‌های هوش مصنوعی مولد برای onnxruntime** -Model Builder اکنون از کم‌حجم‌سازی مدل‌های ONNX برای Phi-3.5 Instruct و Phi-3.5-Vision پشتیبانی می‌کند. +## **افزونه‌های هوش مصنوعی مولد برای onnxruntime چیست؟** + +این افزونه‌ها به شما کمک می‌کنند تا هوش مصنوعی مولد را با ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) اجرا کنید. این افزونه‌ها حلقه هوش مصنوعی مولد را برای مدل‌های ONNX فراهم می‌کنند، شامل استنتاج با ONNX Runtime، پردازش لوگیت‌ها، جستجو و نمونه‌گیری، و مدیریت کش KV. توسعه‌دهندگان می‌توانند متد سطح بالای generate() را فراخوانی کنند، یا هر تکرار مدل را در یک حلقه اجرا کنند و یک توکن در هر بار تولید کنند، و به صورت اختیاری پارامترهای تولید را داخل حلقه به‌روزرسانی کنند. این افزونه از جستجوی حریصانه/تراس و نمونه‌گیری TopP، TopK برای تولید توکن‌ها و پردازش لوگیت تعبیه‌شده مانند جریمه‌های تکرار پشتیبانی می‌کند. همچنین می‌توانید به سادگی امتیازدهی سفارشی را اضافه کنید. + +در سطح برنامه، می‌توانید از افزونه‌های هوش مصنوعی مولد برای onnxruntime برای ساخت برنامه‌ها با C++/ C# / Python استفاده کنید. در سطح مدل، می‌توانید برای ادغام مدل‌های فاین تیون شده و انجام امور مربوط به استقرار کمی از آن بهره ببرید. + + +## **کوانتیزه کردن Phi-3.5 با افزونه‌های هوش مصنوعی مولد برای onnxruntime** + +### **مدل‌های پشتیبانی شده** + +افزونه‌های هوش مصنوعی مولد برای onnxruntime پشتیبانی تبدیل کوانتیزه مایکروسافت Phi ، گوگل Gemma، Mistral، Meta LLaMA را فراهم می‌کنند. + + +### **سازنده مدل در افزونه‌های هوش مصنوعی مولد برای onnxruntime** + +سازنده مدل به طور قابل توجهی سرعت ایجاد مدل‌های ONNX بهینه و کوانتیزه شده که با API generate() در ONNX Runtime اجرا می‌شوند را افزایش می‌دهد. + +با استفاده از سازنده مدل می‌توانید مدل را به INT4، INT8، FP16، FP32 کوانتیزه کنید و روش‌های مختلف شتاب‌دهنده سخت‌افزاری مانند CPU، CUDA، DirectML، Mobile و غیره را ترکیب کنید. + +برای استفاده از سازنده مدل باید نصب کنید + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +پس از نصب، می‌توانید اسکریپت سازنده مدل را از ترمینال اجرا کنید تا تبدیل فرمت مدل و کوانتیزه شدن را انجام دهید. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +پارامترهای مرتبط را درک کنید + +1. **model_name** این مدل در Hugging face است، مانند microsoft/Phi-3.5-mini-instruct، microsoft/Phi-3.5-vision-instruct و غیره. همچنین می‌تواند مسیر ذخیره مدل باشد + +2. **path_to_output_folder** مسیر ذخیره تبدیل کوانتیزه شده + +3. **execution_provider** پشتیبانی سخت‌افزاری مختلف مانند cpu، cuda، DirectML + +4. **cache_dir_to_save_hf_files** ما مدل را از Hugging face دانلود کرده و به صورت محلی کش می‌کنیم + + + + +***توضیح：*** + +## **چگونه با استفاده از سازنده مدل Phi-3.5 را کوانتیزه کنیم** + +سازنده مدل اکنون از کوانتیزه کردن مدل ONNX برای Phi-3.5 Instruct و Phi-3.5-Vision پشتیبانی می‌کند ### **Phi-3.5-Instruct** -**تبدیل کم‌حجم‌سازی شده با شتاب‌دهی CPU به INT4** + +**تبدیل کوانتیزه شده INT4 شتاب‌یافته توسط CPU** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**تبدیل کم‌حجم‌سازی شده با شتاب‌دهی CUDA به INT4** +**تبدیل کوانتیزه شده INT4 شتاب‌یافته توسط CUDA** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. دانلود microsoft/Phi-3.5-vision-instruct در پوشه models +2. دانلود microsoft/Phi-3.5-vision-instruct در پوشه models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. لطفاً این فایل‌ها را در پوشه Phi-3.5-vision-instruct خود دانلود کنید: +3. لطفاً این فایل‌ها را به پوشه Phi-3.5-vision-instruct خود دانلود کنید - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,10 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. این فایل را در پوشه models دانلود کنید + +4. این فایل را به پوشه models دانلود کنید [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. به ترمینال بروید و تبدیل ONNX با پشتیبانی FP32 را انجام دهید +5. به ترمینال بروید + +تبدیل ONNX پشتیبانی شده با FP32 + ```bash @@ -62,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **توجه:** -1. در حال حاضر Model Builder از تبدیل Phi-3.5-Instruct و Phi-3.5-Vision پشتیبانی می‌کند، اما Phi-3.5-MoE را پشتیبانی نمی‌کند. +### **توضیح:** + +1. سازنده مدل در حال حاضر تبدیل Phi-3.5-Instruct و Phi-3.5-Vision را پشتیبانی می‌کند ولی Phi-3.5-MoE را نه -2. برای استفاده از مدل‌های کم‌حجم‌شده ONNX، می‌توانید از طریق SDK افزونه‌های Generative AI برای onnxruntime استفاده کنید. +2. برای استفاده از مدل کوانتیزه شده ONNX، می‌توانید از طریق SDK افزونه‌های هوش مصنوعی مولد برای onnxruntime آن را به کار ببرید -3. برای مسئولیت‌پذیری بیشتر در هوش مصنوعی، پس از تبدیل کم‌حجم‌سازی مدل، توصیه می‌شود آزمایش‌های موثرتری روی نتایج انجام شود. +3. ما باید ملاحظات مسئولیت‌پذیرتری در هوش مصنوعی داشته باشیم، لذا پس از تبدیل کوانتیزه مدل، توصیه می‌شود آزمایش اثربخشی نتایج را انجام دهید + +4. با کوانتیزه کردن مدل CPU INT4 می‌توانیم آن را روی دستگاه‌های Edge مستقر کنیم که سناریوهای کاربردی بهتری دارد، بنابراین حول INT4 کوانتیزه کردن Phi-3.5-Instruct را انجام داده‌ایم -4. با کم‌حجم‌سازی مدل CPU INT4، می‌توانیم آن را روی دستگاه‌های Edge مستقر کنیم که سناریوهای کاربردی بهتری دارد، بنابراین ما Phi-3.5-Instruct را حول INT4 تکمیل کرده‌ایم. ## **منابع** -1. برای اطلاعات بیشتر درباره Generative AI extensions for onnxruntime به [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) مراجعه کنید. +1. برای کسب اطلاعات بیشتر در مورد افزونه‌های هوش مصنوعی مولد برای onnxruntime به [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) مراجعه کنید + +2. مخزن GitHub افزونه‌های هوش مصنوعی مولد برای onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. مخزن GitHub افزونه‌های Generative AI برای onnxruntime در [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) موجود است. +--- -**سلب مسئولیت**: -این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمه‌های خودکار ممکن است حاوی خطاها یا نادرستی‌هایی باشند. سند اصلی به زبان بومی خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفه‌ای انسانی توصیه می‌شود. ما مسئول هیچ گونه سوءتفاهم یا تفسیر نادرستی که از استفاده این ترجمه ناشی شود، نیستیم. \ No newline at end of file + +**سلب مسئولیت**: +این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمه‌های خودکار ممکن است شامل خطاها یا نادرستی‌هایی باشند. سند اصلی به زبان مادری خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفه‌ای انسانی توصیه می‌شود. ما در قبال هرگونه سوء تفاهم یا برداشت نادرست ناشی از استفاده از این ترجمه مسئولیتی نداریم. + \ No newline at end of file diff --git a/translations/fa/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/fa/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 26f32fcf3..88ee4a98e 100644 --- a/translations/fa/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/fa/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **راهنمای استفاده از OnnxRuntime GenAI روی ویندوز با GPU** +# **راهنمای استفاده از OnnxRuntime GenAI برای ویندوز GPU** -این راهنما مراحل راه‌اندازی و استفاده از ONNX Runtime (ORT) با استفاده از GPU روی ویندوز را ارائه می‌دهد. هدف آن کمک به شما برای بهره‌گیری از شتاب‌دهی GPU برای مدل‌هایتان است تا عملکرد و کارایی بهتری داشته باشید. +این راهنما مراحل نصب و استفاده از ONNX Runtime (ORT) با GPUها در ویندوز را ارائه می‌دهد. هدف آن کمک به شما برای بهره‌گیری از تسریع GPU برای مدل‌هایتان است تا عملکرد و کارایی را بهبود ببخشید. -در این سند راهنمایی‌هایی درباره موارد زیر ارائه شده است: +این سند راهنمایی هایی در زمینه: - راه‌اندازی محیط: دستورالعمل نصب وابستگی‌های لازم مانند CUDA، cuDNN و ONNX Runtime. -- پیکربندی: نحوه تنظیم محیط و ONNX Runtime برای استفاده بهینه از منابع GPU. -- نکات بهینه‌سازی: توصیه‌هایی برای تنظیم دقیق تنظیمات GPU جهت دستیابی به بهترین عملکرد. +- پیکربندی: نحوه تنظیم محیط و ONNX Runtime برای استفاده مؤثر از منابع GPU. +- نکات بهینه‌سازی: راهنمایی برای تنظیم دقیق تنظیمات GPU برای بهترین عملکرد. -### **1. Python 3.10.x /3.11.8** +### **۱. Python 3.10.x /3.11.8** - ***Note*** پیشنهاد می‌شود از [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) به عنوان محیط پایتون خود استفاده کنید + ***نکته*** پیشنهاد می‌شود از [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) به‌عنوان محیط پایتون خود استفاده کنید ```bash @@ -20,9 +20,10 @@ ``` - ***Reminder*** اگر هر کتابخانه مرتبط با ONNX در پایتون نصب کرده‌اید، لطفاً آن را حذف کنید + ***یادآوری*** اگر کتابخانه‌ای مرتبط با پایتون ONNX نصب کرده‌اید، لطفا آن را حذف کنید + +### **۲. نصب CMake با winget** -### **2. نصب CMake با winget** ```bash @@ -30,33 +31,36 @@ ``` -### **3. نصب Visual Studio 2022 - توسعه دسکتاپ با C++** +### **۳. نصب Visual Studio 2022 - توسعه دسکتاپ با C++** - ***Note*** اگر نمی‌خواهید کامپایل کنید، می‌توانید این مرحله را رد کنید + ***نکته*** اگر نمی‌خواهید کامپایل کنید، می‌توانید این مرحله را رد کنید ![CPP](../../../../../../translated_images/fa/01.42f52a2b2aedff02.webp) -### **4. نصب درایور NVIDIA** -1. **درایور GPU انویدیا** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **۴. نصب درایور NVIDIA** + +۱. **درایور GPU انویدیا** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) + +۲. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) + +۳. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) +***یادآوری*** لطفاً از تنظیمات پیش‌فرض در فرایند نصب استفاده کنید -3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) +### **۵. تنظیم محیط NVIDIA** -***Reminder*** لطفاً در هنگام نصب از تنظیمات پیش‌فرض استفاده کنید +فایل‌های lib، bin، include از NVIDIA CUDNN 9.4 را به NVIDIA CUDA 12.4 کپی کنید -### **5. تنظیم محیط NVIDIA** +- کپی فایل‌های *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* به *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -فایل‌های lib، bin و include مربوط به NVIDIA CUDNN 9.4 را به پوشه‌های lib، bin و include مربوط به NVIDIA CUDA 12.4 کپی کنید +- کپی فایل‌های *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* به *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* -- فایل‌های *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* را به *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* کپی کنید +- کپی فایل‌های *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* به *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- فایل‌های *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* را به *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* کپی کنید -- فایل‌های *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* را به *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* کپی کنید +### **۶. دانلود Phi-3.5-mini-instruct-onnx** -### **6. دانلود Phi-3.5-mini-instruct-onnx** ```bash @@ -70,25 +74,30 @@ ``` -### **7. اجرای InferencePhi35Instruct.ipynb** +### **۷. اجرای InferencePhi35Instruct.ipynb** + + فایل [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) را باز کرده و اجرا کنید - فایل [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) را باز کرده و اجرا کنید ![RESULT](../../../../../../translated_images/fa/02.b9b06996cf7255d5.webp) -### **8. کامپایل ORT GenAI GPU** - ***Note*** +### **۸. کامپایل ORT GenAI GPU** + + + ***نکته*** - 1. لطفاً ابتدا تمام بسته‌های مرتبط با onnx، onnxruntime و onnxruntime-genai را حذف کنید + ۱. لطفاً ابتدا همه بسته‌های مرتبط با onnx و onnxruntime و onnxruntime-genai را حذف کنید + ```bash pip list ``` - سپس تمام کتابخانه‌های onnxruntime را حذف کنید، به عنوان مثال: + سپس همه کتابخانه‌های onnxruntime را حذف کنید، مثلا + ```bash @@ -100,14 +109,18 @@ ``` - 2. بررسی پشتیبانی افزونه Visual Studio + ۲. پشتیبانی افزونه Visual Studio را بررسی کنید - پوشه C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras را بررسی کنید تا مطمئن شوید پوشه C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration وجود دارد. + مسیر C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras را بررسی کنید تا مطمئن شوید پوشه C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration موجود است. - اگر وجود ندارد، پوشه‌های دیگر درایور Cuda toolkit را بررسی کرده و پوشه visual_studio_integration و محتویات آن را به C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration کپی کنید + اگر موجود نبود، سایر پوشه‌های درایور Cuda Toolkit را بررسی کنید و پوشه visual_studio_integration و محتوای آن را به C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration کپی کنید + + + - اگر نمی‌خواهید کامپایل کنید، می‌توانید این مرحله را رد کنید + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ - دانلود [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - فایل onnxruntime-win-x64-gpu-1.19.2.zip را استخراج کرده و نام پوشه را به **ort** تغییر دهید، سپس پوشه ort را به onnxruntime-genai کپی کنید + - فایل onnxruntime-win-x64-gpu-1.19.2.zip را از حالت فشرده خارج کرده و نام پوشه را به **ort** تغییر دهید، پوشه ort را به onnxruntime-genai کپی کنید - - با استفاده از Windows Terminal به Developer Command Prompt برای VS 2022 بروید و به پوشه onnxruntime-genai بروید + - با استفاده از Windows Terminal، وارد Developer Command Prompt for VS 2022 شده و به پوشه onnxruntime-genai بروید ![RESULT](../../../../../../translated_images/fa/03.b83ce473d5ff9b9b.webp) - آن را با محیط پایتون خود کامپایل کنید + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**سلب مسئولیت**: -این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمه‌های خودکار ممکن است حاوی خطاها یا نادرستی‌هایی باشند. سند اصلی به زبان بومی خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفه‌ای انسانی توصیه می‌شود. ما مسئول هیچ گونه سوءتفاهم یا تفسیر نادرستی که از استفاده این ترجمه ناشی شود، نیستیم. \ No newline at end of file +--- + + +**سلب مسئولیت**: +این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمه‌های خودکار ممکن است شامل خطاها یا نادرستی‌هایی باشند. سند اصلی به زبان مادری خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفه‌ای انسانی توصیه می‌شود. ما در قبال هرگونه سوء تفاهم یا برداشت نادرست ناشی از استفاده از این ترجمه مسئولیتی نداریم. + \ No newline at end of file diff --git a/translations/fa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/fa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 6fe752fea..6c7c7129d 100644 --- a/translations/fa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/fa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ # استفاده از GPU ویندوز برای ایجاد راهکار Prompt flow با Phi-3.5-Instruct ONNX -سند زیر نمونه‌ای است از نحوه استفاده از PromptFlow با ONNX (Open Neural Network Exchange) برای توسعه برنامه‌های هوش مصنوعی مبتنی بر مدل‌های Phi-3. +سند زیر نمونه‌ای از نحوه استفاده از PromptFlow با ONNX (Open Neural Network Exchange) برای توسعه برنامه‌های هوش مصنوعی مبتنی بر مدل‌های Phi-3 است. -PromptFlow مجموعه‌ای از ابزارهای توسعه است که برای ساده‌سازی چرخه کامل توسعه برنامه‌های هوش مصنوعی مبتنی بر مدل‌های زبان بزرگ (LLM) طراحی شده است، از ایده‌پردازی و نمونه‌سازی اولیه گرفته تا تست و ارزیابی. +PromptFlow مجموعه‌ای از ابزارهای توسعه است که برای ساده‌سازی چرخه توسعه انتها به انتهای برنامه‌های هوش مصنوعی مبتنی بر LLM (مدل زبان بزرگ) از ایده‌پردازی و نمونه‌سازی تا تست و ارزیابی طراحی شده است. با ادغام PromptFlow با ONNX، توسعه‌دهندگان می‌توانند: -- بهینه‌سازی عملکرد مدل: استفاده از ONNX برای استنتاج و استقرار کارآمد مدل. -- ساده‌سازی توسعه: استفاده از PromptFlow برای مدیریت جریان کاری و خودکارسازی وظایف تکراری. +- بهینه‌سازی عملکرد مدل: بهره‌گیری از ONNX برای استنتاج و استقرار کارآمد مدل. +- ساده‌سازی توسعه: استفاده از PromptFlow برای مدیریت جریان کار و خودکارسازی وظایف تکراری. - افزایش همکاری: تسهیل همکاری بهتر بین اعضای تیم با فراهم کردن محیط توسعه یکپارچه. -**Prompt flow** مجموعه‌ای از ابزارهای توسعه است که برای ساده‌سازی چرخه کامل توسعه برنامه‌های هوش مصنوعی مبتنی بر LLM طراحی شده است، از ایده‌پردازی، نمونه‌سازی اولیه، تست، ارزیابی تا استقرار در تولید و نظارت. این ابزار مهندسی پرامپت را بسیار آسان‌تر می‌کند و به شما امکان می‌دهد برنامه‌های LLM با کیفیت تولید بسازید. +**Prompt flow** مجموعه‌ای از ابزارهای توسعه است که برای ساده‌سازی چرخه توسعه انتها به انتهای برنامه‌های هوش مصنوعی مبتنی بر LLM طراحی شده است، از ایده‌پردازی، نمونه‌سازی، تست، ارزیابی تا استقرار در تولید و نظارت. این ابزار مهندسی پرامپت را بسیار آسان‌تر می‌کند و به شما امکان می‌دهد برنامه‌های LLM با کیفیت تولید بسازید. -Prompt flow می‌تواند به OpenAI، Azure OpenAI Service و مدل‌های قابل سفارشی‌سازی (Huggingface، LLM/SLM محلی) متصل شود. ما امیدواریم مدل ONNX کوانتیزه شده Phi-3.5 را در برنامه‌های محلی مستقر کنیم. Prompt flow می‌تواند به ما کمک کند کسب‌وکار خود را بهتر برنامه‌ریزی کنیم و راهکارهای محلی مبتنی بر Phi-3.5 را کامل کنیم. در این مثال، ما کتابخانه ONNX Runtime GenAI را برای تکمیل راهکار Prompt flow مبتنی بر GPU ویندوز ترکیب خواهیم کرد. +Prompt flow می‌تواند به OpenAI، سرویس Azure OpenAI و مدل‌های قابل تنظیم (Huggingface، مدل محلی LLM/SLM) وصل شود. ما امیدواریم مدل کمیتی‌شده ONNX Phi-3.5 را به برنامه‌های محلی استقرار دهیم. Prompt flow می‌تواند به ما کمک کند کسب‌وکار خود را بهتر برنامه‌ریزی کنیم و راهکارهای محلی مبتنی بر Phi-3.5 را کامل کنیم. در این مثال، ما کتابخانه ONNX Runtime GenAI را ترکیب خواهیم کرد تا راهکار Prompt flow مبتنی بر GPU ویندوز را کامل کنیم. ## **نصب** ### **ONNX Runtime GenAI برای GPU ویندوز** -برای تنظیم ONNX Runtime GenAI برای GPU ویندوز این راهنما را مطالعه کنید [کلیک کنید](./ORTWindowGPUGuideline.md) +این راهنما را برای تنظیم ONNX Runtime GenAI برای GPU ویندوز بخوانید [اینجا کلیک کنید](./ORTWindowGPUGuideline.md) ### **راه‌اندازی Prompt flow در VSCode** -1. افزونه Prompt flow برای VS Code را نصب کنید +1. نصب افزونه Prompt flow در VS Code ![pfvscode](../../../../../../translated_images/fa/pfvscode.eff93dfc66a42cbe.webp) -2. پس از نصب افزونه Prompt flow در VS Code، روی افزونه کلیک کنید و گزینه **Installation dependencies** را انتخاب کنید و طبق این راهنما SDK پرامپت فلو را در محیط خود نصب کنید +2. پس از نصب افزونه Prompt flow در VS Code، روی افزونه کلیک کنید و **Installation dependencies** را انتخاب کنید و این راهنما را دنبال کنید تا SDK پرامپت فلو را در محیط خود نصب کنید ![pfsetup](../../../../../../translated_images/fa/pfsetup.b46e93096f5a254f.webp) -3. [نمونه کد](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) را دانلود کرده و با VS Code این نمونه را باز کنید +3. [نمونه کد](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) را دانلود کنید و با VS Code این نمونه را باز کنید ![pfsample](../../../../../../translated_images/fa/pfsample.8d89e70584ffe7c4.webp) @@ -38,21 +38,21 @@ Prompt flow می‌تواند به OpenAI، Azure OpenAI Service و مدل‌ه ![pfdag](../../../../../../translated_images/fa/pfdag.264a77f7366458ff.webp) - فایل **chat_phi3_ort.py** را باز کنید و مسیر مدل Phi-3.5-instruct ONNX خود را تغییر دهید + فایل **chat_phi3_ort.py** را باز کنید تا مکان مدل ONNX Phi-3.5-instruct خود را تغییر دهید ![pfphi](../../../../../../translated_images/fa/pfphi.72da81d74244b45f.webp) -5. پرامپت فلو خود را برای تست اجرا کنید +5. پرامپت فلو خود را اجرا کنید و تست کنید فایل **flow.dag.yaml** را باز کنید و روی ویرایشگر بصری کلیک کنید ![pfv](../../../../../../translated_images/fa/pfv.ba8a81f34b20f603.webp) -پس از کلیک، آن را اجرا کنید تا تست شود +پس از کلیک، آن را اجرا کنید و تست کنید ![pfflow](../../../../../../translated_images/fa/pfflow.4e1135a089b1ce1b.webp) -1. می‌توانید در ترمینال به صورت دسته‌ای اجرا کنید تا نتایج بیشتری ببینید +1. می‌توانید به صورت دسته‌ای در ترمینال اجرا کنید تا نتایج بیشتری بررسی کنید ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -می‌توانید نتایج را در مرورگر پیش‌فرض خود مشاهده کنید +می‌توانید نتایج را در مرورگر پیش‌فرض خود ببینید ![pfresult](../../../../../../translated_images/fa/pfresult.c22c826f8062d7cb.webp) -**سلب مسئولیت**: -این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمه‌های خودکار ممکن است حاوی خطاها یا نادرستی‌هایی باشند. سند اصلی به زبان بومی خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفه‌ای انسانی توصیه می‌شود. ما مسئول هیچ گونه سوءتفاهم یا تفسیر نادرستی که از استفاده این ترجمه ناشی شود، نیستیم. \ No newline at end of file +--- + + +**سلب مسئولیت**: +این سند با استفاده از سرویس ترجمه هوش مصنوعی [Co-op Translator](https://github.com/Azure/co-op-translator) ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمه‌های خودکار ممکن است شامل خطاها یا نادرستی‌هایی باشند. سند اصلی به زبان مادری خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفه‌ای انسانی توصیه می‌شود. ما در قبال هرگونه سوء تفاهم یا برداشت نادرست ناشی از استفاده از این ترجمه مسئولیتی نداریم. + \ No newline at end of file diff --git a/translations/fi/.co-op-translator.json b/translations/fi/.co-op-translator.json index 67435901c..932918ccb 100644 --- a/translations/fi/.co-op-translator.json +++ b/translations/fi/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:22:20+00:00", + "translation_date": "2026-07-29T16:45:11+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "fi" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:44:41+00:00", + "translation_date": "2026-07-29T16:46:02+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "fi" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:01:29+00:00", + "translation_date": "2026-07-29T16:45:31+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "fi" }, diff --git a/translations/fi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/fi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 2e7c5a711..63e009421 100644 --- a/translations/fi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/fi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Kuinka käyttää Model Builderia Phi-3.5:n kvantisointiin** +# **Phi-perheen kvantisointi Generative AI -laajennuksilla onnxruntimelle** -Model Builder tukee nyt ONNX-mallien kvantisointia Phi-3.5 Instruct- ja Phi-3.5-Vision-malleille. +## **Mitä ovat Generative AI -laajennukset onnxruntimelle** + +Nämä laajennukset auttavat sinua suorittamaan generatiivista tekoälyä ONNX Runtime -ympäristössä ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Se tarjoaa generatiivisen tekoälyn silmukan ONNX-malleille, sisältäen päättelyn ONNX Runtimella, logitien käsittelyn, haun ja otannan sekä KV-välimuistin hallinnan. Kehittäjät voivat kutsua korkeantason generate()-metodia tai suorittaa mallin jokaisen iteraation silmukassa, generoi yhden tokenin kerrallaan ja tarvittaessa päivittää generoinnin parametreja silmukan sisällä. Se tukee ahnettua/beam-hakua ja TopP-, TopK-otantaa token-sekvenssien luomiseksi sekä sisäänrakennettua logitien käsittelyä, kuten toistoseuraamuksia. Voit myös helposti lisätä oman pisteytyksen. + +Sovellustasolla voit käyttää Generative AI -laajennuksia onnxruntimelle rakentamaan sovelluksia C++/ C# / Python -kielillä. Mallitasolla voit käyttää sitä hienosäädettyjen mallien yhdistämiseen ja niihin liittyviin kvantitatiivisiin käyttöönottoihin. + + +## **Phi-3.5:n kvantisointi Generative AI -laajennuksilla onnxruntimelle** + +### **Tuetut mallit** + +Generative AI -laajennukset onnxruntimelle tukevat Microsoft Phin, Google Gemman, Mistralin ja Meta LLaMAn kvantisointimuunnoksia. + + +### **Mallinrakentaja Generative AI -laajennuksissa onnxruntimelle** + +Mallinrakentaja nopeuttaa merkittävästi optimoitujen ja kvantisoitujen ONNX-mallien luontia, jotka toimivat ONNX Runtime generate() -rajapinnan kanssa. + +Mallinrakentajan kautta voit kvantisoida mallin INT4, INT8, FP16, FP32 -muotoihin ja yhdistää erilaisia laitteistokiihdytysmenetelmiä kuten CPU, CUDA, DirectML, Mobile jne. + +Mallinrakentajan käyttöä varten sinun tulee asentaa + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Asennuksen jälkeen voit suorittaa Mallinrakentajan skriptin terminaalista mallin formaatin ja kvantisoinnin muunnosten tekemistä varten. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Ymmärrä asiaankuuluvat parametrit + +1. **model_name** Tämä on malli Hugging Face-palvelussa, kuten microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct jne. Se voi myös olla polku, johon tallennat mallin + +2. **path_to_output_folder** Kvantisoidun muunnoksen tallennuspolku + +3. **execution_provider** Erilainen laitteistokiihdytystuki, kuten cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Lataamme mallin Hugging Face:stä ja tallennamme sen väliaikaisesti paikallisesti + + + + +***Huomio：*** + +## **Kuinka käyttää Mallinrakentajaa Phi-3.5:n kvantisointiin** + +Mallinrakentaja tukee nyt ONNX-mallien kvantisointia Phi-3.5 Instruct- ja Phi-3.5-Vision -malleille ### **Phi-3.5-Instruct** -**CPU-kiihdytetty kvantisoitu INT4-muunnos** + +**CPU-kiihdytetty INT4-kvantisointimuunnos** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA-kiihdytetty kvantisoitu INT4-muunnos** +**CUDA-kiihdytetty INT4-kvantisointimuunnos** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,7 +101,7 @@ cd models ``` -2. Lataa microsoft/Phi-3.5-vision-instruct models-kansioon +2. Lataa microsoft/Phi-3.5-vision-instruct models-kansioon [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Lataa nämä tiedostot Phi-3.5-vision-instruct -kansioosi @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Lataa tämä tiedosto models-kansioon + +4. Lataa tämä tiedosto models-kansioon [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Siirry terminaaliin +5. Mene terminaaliin + + Muunna ONNX-tuki FP32:lla - Muunna ONNX-tuki FP32-muotoon ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Huomio:** -1. Model Builder tukee tällä hetkellä Phi-3.5-Instruct- ja Phi-3.5-Vision-mallien muunnosta, mutta ei Phi-3.5-MoE-mallia. +### **Huomio：** + +1. Mallinrakentaja tukee nykyisin Phi-3.5-Instructin ja Phi-3.5-Visionin muunnoksia, mutta ei Phi-3.5-MoE:ta -2. ONNX:n kvantisoitua mallia voi käyttää Generative AI extensions for onnxruntime -SDK:n kautta. +2. Käyttääksesi ONNX:n kvantisoitua mallia, voit käyttää sitä Generative AI -laajennusten onnxruntime SDK:n kautta -3. Vastuullisemman tekoälyn vuoksi mallin kvantisoinnin jälkeen suositellaan tehokkaampaa tulosten testausta. +3. Meidän tulee ottaa vastuullisempi tekoäly huomioon, joten mallin kvantisointi-muuntojen jälkeen on suositeltavaa tehdä tehokkaampaa tulostestausta + +4. Kvantisoimalla CPU INT4-malli voimme ottaa sen käyttöön Edge-laitteissa, joissa on paremmat sovellusmahdollisuudet, joten olemme saaneet Phi-3.5-Instructin valmiiksi INT4:n osalta -4. Kvantisoimalla CPU INT4 -mallin voimme ottaa sen käyttöön reunalaitteissa, joissa on paremmat sovellusmahdollisuudet, joten Phi-3.5-Instruct on saatu valmiiksi INT4-tasolla. ## **Resurssit** -1. Lisätietoja Generative AI extensions for onnxruntime -laajennuksesta: [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Lisätietoa Generative AI -laajennuksista onnxruntimelle [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI -laajennusten onnxruntime GitHub-repositorio [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub-repositorio: [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Vastuuvapauslauseke**: -Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulee pitää virallisena lähteenä. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista. \ No newline at end of file + +**Vastuuvapauslauseke**: +Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, otathan huomioon, että automaattiset käännökset saattavat sisältää virheitä tai epätarkkuuksia. Alkuperäinen asiakirja sen alkuperäiskielellä on virallinen lähde. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista. + \ No newline at end of file diff --git a/translations/fi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/fi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index ec5bce1df..14c318a55 100644 --- a/translations/fi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/fi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Ohjeistus OnnxRuntime GenAI Windows GPU:lle** +# **Ohjeet OnnxRuntime GenAI Windows GPU:lle** -Tämä ohjeistus sisältää vaiheet ONNX Runtime (ORT) -ympäristön käyttöönottoon ja GPU:n hyödyntämiseen Windowsilla. Sen tarkoituksena on auttaa sinua hyödyntämään GPU-kiihdytystä malleissasi, parantaen suorituskykyä ja tehokkuutta. +Tämä ohje tarjoaa vaiheet ONNX Runtime (ORT) ympäristön pystyttämiseen ja käyttöön GPU:illa Windowsilla. Se on suunniteltu auttamaan sinua hyödyntämään GPU-kiihdytystä malleissasi, parantaen suorituskykyä ja tehokkuutta. -Dokumentti kattaa: +Asiakirja tarjoaa ohjeita: -- Ympäristön asennus: Ohjeet tarvittavien riippuvuuksien, kuten CUDA:n, cuDNN:n ja ONNX Runtime:n asentamiseen. -- Konfigurointi: Kuinka määrittää ympäristö ja ONNX Runtime hyödyntämään GPU-resursseja tehokkaasti. -- Optimointivinkit: Neuvoja GPU-asetusten hienosäätöön parhaan suorituskyvyn saavuttamiseksi. +- Ympäristön pystytys: Ohjeita tarvittavien riippuvuuksien, kuten CUDA:n, cuDNN:n ja ONNX Runtimen, asentamiseen. +- Konfigurointi: Kuinka konfiguroida ympäristö ja ONNX Runtime hyödyntämään GPU-resursseja tehokkaasti. +- Optimointivinkit: Neuvoja GPU-asetusten hienosäätöön optimaalisen suorituskyvyn saavuttamiseksi. ### **1. Python 3.10.x /3.11.8** - ***Note*** Suositellaan käyttämään [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) Python-ympäristönä + ***Huomautus*** Suositellaan käyttämään [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) Python-ympäristönäsi ```bash @@ -20,44 +20,48 @@ Dokumentti kattaa: ``` - ***Reminder*** Jos olet asentanut jonkin Python ONNX -kirjaston, poista se ensin + ***Muistutus*** Jos olet asentanut jotain Python ONNX -kirjastoja, poista ne asennuksesta ### **2. Asenna CMake wingetillä** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Asenna Visual Studio 2022 - Desktop Development with C++** +### **3. Asenna Visual Studio 2022 - Työpöytäsovelluskehitys C++:lla** - ***Note*** Jos et halua kääntää itse, voit ohittaa tämän vaiheen + ***Huomautus*** Jos et halua kääntää lähdekoodia, voit ohittaa tämän vaiheen ![CPP](../../../../../../translated_images/fi/01.42f52a2b2aedff02.webp) + ### **4. Asenna NVIDIA-ajuri** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU -ajuri** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Käytä asennuksen oletusasetuksia +***Muistutus*** Käytä asennuksen oletusasetuksia -### **5. Määritä NVIDIA-ympäristö** +### **5. Aseta NVIDIA-ympäristö** -Kopioi NVIDIA CUDNN 9.4:n lib-, bin- ja include-kansiot NVIDIA CUDA 12.4:n vastaaviin kansioihin +Kopioi NVIDIA CUDNN 9.4:n lib, bin, include kansiot NVIDIA CUDA 12.4:n vastaaviin kansioihin -- kopioi *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* tiedostot kansioon *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- kopioi tiedostot *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* kansiosta *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- kopioi *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* tiedostot kansioon *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- kopioi tiedostot *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* kansiosta *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- kopioi tiedostot *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* kansiosta *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopioi *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* tiedostot kansioon *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Lataa Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Kopioi NVIDIA CUDNN 9.4:n lib-, bin- ja include-kansiot NVIDIA CUDA 12.4:n vasta ### **7. Suorita InferencePhi35Instruct.ipynb** - Avaa [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ja suorita se + Avaa [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ja suorita + ![RESULT](../../../../../../translated_images/fi/02.b9b06996cf7255d5.webp) + ### **8. Käännä ORT GenAI GPU** - ***Note*** + + ***Huomautus*** - 1. Poista ensin kaikki onnx-, onnxruntime- ja onnxruntime-genai -kirjastot + 1. Poista ensin kaikki onnx-, onnxruntime- ja onnxruntime-genai -paketit + ```bash pip list ``` - Sen jälkeen poista kaikki onnxruntime-kirjastot, esimerkiksi + Sen jälkeen poista kaikki onnxruntime-kirjastot, esim. + ```bash @@ -100,13 +109,17 @@ Kopioi NVIDIA CUDNN 9.4:n lib-, bin- ja include-kansiot NVIDIA CUDA 12.4:n vasta ``` - 2. Tarkista Visual Studio -laajennuksen tuki + 2. Tarkista Visual Studion lisäosan tuki + + Tarkista kansio C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras varmistaaksesi, että polku C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration löytyy + + Jos polkua ei löydy, tarkista muiden CUDA toolkit -ajurikansioiden sisältö ja kopioi kansio visual_studio_integration sisällön kera kohtaan C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + - Tarkista, että kansio C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras sisältää alikansion visual_studio_integration. - Jos sitä ei löydy, etsi se muista CUDA Toolkit -kansioista ja kopioi visual_studio_integration -kansio ja sen sisältö kansioon C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration - - Jos et halua kääntää itse, voit ohittaa tämän vaiheen + - Jos et halua kääntää, voit ohittaa tämän vaiheen + ```bash @@ -116,14 +129,15 @@ Kopioi NVIDIA CUDNN 9.4:n lib-, bin- ja include-kansiot NVIDIA CUDA 12.4:n vasta - Lataa [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Pura onnxruntime-win-x64-gpu-1.19.2.zip, nimeä purettu kansio **ort** ja kopioi se onnxruntime-genai -kansioon + - Pura onnxruntime-win-x64-gpu-1.19.2.zip ja nimeä kansio uudelleen **ort**, kopioi ort-kansio onnxruntime-genai-hakemistoon - - Käynnistä Windows Terminal, avaa Developer Command Prompt for VS 2022 ja siirry onnxruntime-genai -kansioon + - Käytä Windows Terminalia, siirry Developer Command Prompt for VS 2022 -ikkunaan ja siirry onnxruntime-genai-hakemistoon ![RESULT](../../../../../../translated_images/fi/03.b83ce473d5ff9b9b.webp) - - Käännä se Python-ympäristössäsi + - Käännä se Python-ympäristösi avulla + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopioi NVIDIA CUDNN 9.4:n lib-, bin- ja include-kansiot NVIDIA CUDA 12.4:n vasta ``` -**Vastuuvapauslauseke**: -Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulee pitää virallisena lähteenä. Tärkeissä tiedoissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista. \ No newline at end of file +--- + + +**Vastuuvapauslauseke**: +Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, otathan huomioon, että automaattiset käännökset saattavat sisältää virheitä tai epätarkkuuksia. Alkuperäinen asiakirja sen alkuperäiskielellä on virallinen lähde. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista. + \ No newline at end of file diff --git a/translations/fi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/fi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index b1b76b583..032684c3f 100644 --- a/translations/fi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/fi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ -# Windows GPU:n käyttäminen Prompt flow -ratkaisun luomiseen Phi-3.5-Instruct ONNX:llä +# Windowsin GPU:n käyttäminen Prompt flow -ratkaisun luomiseen Phi-3.5-Instruct ONNX:n kanssa -Seuraava dokumentti on esimerkki siitä, miten PromptFlowa käytetään ONNX:n (Open Neural Network Exchange) kanssa Phi-3 -mallien pohjalta kehitettyjen tekoälysovellusten rakentamiseen. +Seuraava dokumentti on esimerkki siitä, miten PromptFlowa käytetään ONNX:n (Open Neural Network Exchange) kanssa Phi-3 -mallien pohjalta rakennettujen tekoälysovellusten kehittämiseen. -PromptFlow on kehitystyökalupaketti, joka on suunniteltu sujuvoittamaan koko LLM-pohjaisten (Large Language Model) tekoälysovellusten kehityssykliä ideoinnista ja prototypoinnista testaukseen ja arviointiin. +PromptFlow on kehitystyökalujen kokonaisuus, joka on suunniteltu sujuvoittamaan LLM-pohjaisten (Large Language Model) tekoälysovellusten koko kehityssykliä ideoinnista ja prototypoinnista testaukseen ja arviointiin. Integroimalla PromptFlow ONNX:n kanssa kehittäjät voivat: -- Optimoida mallin suorituskyvyn: Hyödyntää ONNX:ää tehokkaaseen mallin päättelyyn ja käyttöönottoon. -- Yksinkertaistaa kehitystä: Käyttää PromptFlowta työnkulun hallintaan ja toistuvien tehtävien automatisointiin. -- Parantaa yhteistyötä: Mahdollistaa paremman tiimityön tarjoamalla yhtenäisen kehitysympäristön. +- Optimoida Mallin Suorituskykyä: Hyödyntää ONNX:ää tehokkaaseen mallin päättelyyn ja käyttöönottoon. +- Yksinkertaistaa Kehitystä: Käyttää PromptFlowta työnkulun hallintaan ja toistuvien tehtävien automatisointiin. +- Parantaa Yhteistyötä: Mahdollistaa paremman tiimityön tarjoamalla yhtenäisen kehitysympäristön. -**Prompt flow** on kehitystyökalupaketti, joka on suunniteltu sujuvoittamaan koko LLM-pohjaisten tekoälysovellusten kehityssykliä ideoinnista, prototypoinnista, testauksesta ja arvioinnista aina tuotantoon käyttöönottoon ja seurantaan asti. Se tekee prompt-tekniikasta paljon helpompaa ja mahdollistaa tuotantolaatuisten LLM-sovellusten rakentamisen. +**Prompt flow** on kehitystyökalujen kokonaisuus, joka on suunniteltu sujuvoittamaan koko LLM-pohjaisten tekoälysovellusten kehityssykliä ideoinnista, prototypoinnista, testauksesta ja arvioinnista aina tuotantoon vientiin ja valvontaan asti. Se tekee prompt-tekniikan kehittämisestä paljon helpompaa ja mahdollistaa LLM-sovellusten rakentamisen tuotantolaatuisiksi. -Prompt flow voi yhdistää OpenAI:hin, Azure OpenAI Serviceen sekä räätälöitäviin malleihin (Huggingface, paikalliset LLM/SLM). Tavoitteenamme on ottaa Phi-3.5:n kvantisoitu ONNX-malli käyttöön paikallisissa sovelluksissa. Prompt flow auttaa meitä suunnittelemaan liiketoimintaamme paremmin ja toteuttamaan paikallisia ratkaisuja Phi-3.5:n pohjalta. Tässä esimerkissä yhdistämme ONNX Runtime GenAI -kirjaston Prompt flow -ratkaisun toteuttamiseksi Windows GPU:lla. +Prompt flow voi yhdistää OpenAI:hin, Azure OpenAI Serviceen ja muokattaviin malleihin (Huggingface, paikalliset LLM/SLM). Toivomme voivamme ottaa Phi-3.5:n kvantisoidun ONNX-mallin käyttöön paikallisissa sovelluksissa. Prompt flow voi auttaa meitä suunnittelemaan liiketoimintaamme paremmin ja toteuttamaan paikallisia ratkaisuja Phi-3.5:n pohjalta. Tässä esimerkissä yhdistämme ONNX Runtime GenAI -kirjaston Prompt flow -ratkaisun toteuttamiseksi Windowsin GPU:lla. ## **Asennus** ### **ONNX Runtime GenAI Windows GPU:lle** -Lue tämä ohje ONNX Runtime GenAI:n asentamiseksi Windows GPU:lle [klikkaa tästä](./ORTWindowGPUGuideline.md) +Lue tämä ohjeistus asettaaksesi ONNX Runtime GenAI Windows GPU:lle [klikkaa tästä](./ORTWindowGPUGuideline.md) -### **Prompt flow -ympäristön asennus VSCodeen** +### **Prompt flow:n asennus VSCodessa** 1. Asenna Prompt flow VS Code -laajennus ![pfvscode](../../../../../../translated_images/fi/pfvscode.eff93dfc66a42cbe.webp) -2. Asennuksen jälkeen avaa Prompt flow VS Code -laajennus, valitse **Installation dependencies** ja seuraa ohjeita Prompt flow SDK:n asentamiseksi ympäristöösi +2. Asennuksen jälkeen napsauta Prompt flow VS Code -laajennusta ja valitse **Installation dependencies** noudata tätä ohjetta asentaaksesi Prompt flow SDK:n ympäristöösi ![pfsetup](../../../../../../translated_images/fi/pfsetup.b46e93096f5a254f.webp) -3. Lataa [Esimerkkikoodi](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ja avaa se VS Codessa +3. Lataa [Esimerkkikoodi](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ja avaa se VS Codella ![pfsample](../../../../../../translated_images/fi/pfsample.8d89e70584ffe7c4.webp) @@ -38,21 +38,21 @@ Lue tämä ohje ONNX Runtime GenAI:n asentamiseksi Windows GPU:lle [klikkaa täs ![pfdag](../../../../../../translated_images/fi/pfdag.264a77f7366458ff.webp) - Avaa **chat_phi3_ort.py** ja muuta Phi-3.5-instruct ONNX -mallin sijainti + Avaa **chat_phi3_ort.py** muuttaaksesi Phi-3.5-instruct ONNX -mallin sijainnin ![pfphi](../../../../../../translated_images/fi/pfphi.72da81d74244b45f.webp) -5. Suorita prompt flow testataksesi +5. Suorita prompt flow testeihin -Avaa **flow.dag.yaml** ja klikkaa visual editoria +Avaa **flow.dag.yaml** ja napsauta visuaalieditoria ![pfv](../../../../../../translated_images/fi/pfv.ba8a81f34b20f603.webp) -Klikkaa tätä ja suorita testi +napsauta tätä ja suorita testi ![pfflow](../../../../../../translated_images/fi/pfflow.4e1135a089b1ce1b.webp) -1. Voit ajaa eräajon terminaalissa saadaksesi lisää tuloksia +1. Voit ajaa erän terminaalissa tarkistaaksesi lisää tuloksia ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Tulokset voit tarkistaa oletusselaimessasi +Voit tarkistaa tulokset oletusselaimessasi ![pfresult](../../../../../../translated_images/fi/pfresult.c22c826f8062d7cb.webp) -**Vastuuvapauslauseke**: -Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulee pitää virallisena lähteenä. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista. \ No newline at end of file +--- + + +**Vastuuvapauslauseke**: +Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua [Co-op Translator](https://github.com/Azure/co-op-translator). Vaikka pyrimme tarkkuuteen, otathan huomioon, että automaattiset käännökset saattavat sisältää virheitä tai epätarkkuuksia. Alkuperäinen asiakirja sen alkuperäiskielellä on virallinen lähde. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista. + \ No newline at end of file diff --git a/translations/fr/.co-op-translator.json b/translations/fr/.co-op-translator.json index db05f1151..cc32b63e2 100644 --- a/translations/fr/.co-op-translator.json +++ b/translations/fr/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:13:52+00:00", + "translation_date": "2026-07-29T16:37:36+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "fr" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:38:14+00:00", + "translation_date": "2026-07-29T16:38:31+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "fr" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:56:23+00:00", + "translation_date": "2026-07-29T16:37:51+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "fr" }, diff --git a/translations/fr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/fr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index ca585313d..88f327d7b 100644 --- a/translations/fr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/fr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ +# **Quantification de la famille Phi utilisant les extensions d'IA générative pour onnxruntime** + +## **Qu'est-ce que les extensions d'IA générative pour onnxruntime** + +Ces extensions vous aident à exécuter de l'IA générative avec ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Elles fournissent la boucle d'IA générative pour les modèles ONNX, incluant l'inférence avec ONNX Runtime, le traitement des logits, la recherche et l'échantillonnage, ainsi que la gestion du cache KV. Les développeurs peuvent appeler une méthode generate() de haut niveau, ou exécuter chaque itération du modèle en boucle, générant un token à la fois, et mettre à jour en option les paramètres de génération à l'intérieur de la boucle. Elles supportent la recherche gloutonne/beam search et l'échantillonnage TopP, TopK pour générer des séquences de tokens, ainsi que le traitement intégré des logits comme les pénalités de répétition. Vous pouvez aussi facilement ajouter un système de notation personnalisé. + +Au niveau de l'application, vous pouvez utiliser les extensions d'IA générative pour onnxruntime pour construire des applications en C++/C#/Python. Au niveau du modèle, vous pouvez les utiliser pour fusionner des modèles affinés et effectuer les travaux connexes de déploiement quantitatif. + + +## **Quantification de Phi-3.5 avec les extensions d'IA générative pour onnxruntime** + +### **Modèles supportés** + +Les extensions d'IA générative pour onnxruntime supportent la conversion en quantification des modèles Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Constructeur de modèle dans les extensions d'IA générative pour onnxruntime** + +Le constructeur de modèle accélère grandement la création de modèles ONNX optimisés et quantifiés qui fonctionnent avec l'API generate() d'ONNX Runtime. + +Grâce à Model Builder, vous pouvez quantifier le modèle en INT4, INT8, FP16, FP32, et combiner différentes méthodes d'accélération matérielle telles que CPU, CUDA, DirectML, Mobile, etc. + +Pour utiliser Model Builder, vous devez installer + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Après l'installation, vous pouvez exécuter le script Model Builder depuis le terminal pour effectuer la conversion du format du modèle et la quantification. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Comprenez les paramètres pertinents + +1. **model_name** C'est le modèle sur Hugging Face, comme microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. Il peut aussi être le chemin où vous stockez le modèle + +2. **path_to_output_folder** Chemin d'enregistrement de la conversion quantifiée + +3. **execution_provider** Support d'accélération matérielle différent, par exemple cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Nous téléchargeons le modèle depuis Hugging Face et le mettons en cache localement + + + + +***Note :*** + ## **Comment utiliser Model Builder pour quantifier Phi-3.5** -Model Builder prend désormais en charge la quantification des modèles ONNX pour Phi-3.5 Instruct et Phi-3.5-Vision. +Model Builder supporte désormais la quantification des modèles ONNX pour Phi-3.5 Instruct et Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Conversion accélérée CPU en INT4 quantifié** + +**Conversion accélérée CPU du quantifié INT4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Conversion accélérée CUDA en INT4 quantifié** +**Conversion accélérée CUDA du quantifié INT4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Configurez l’environnement dans le terminal +1. Configurez l'environnement dans le terminal ```bash @@ -40,7 +101,7 @@ cd models ``` -2. Téléchargez microsoft/Phi-3.5-vision-instruct dans le dossier models +2. Téléchargez microsoft/Phi-3.5-vision-instruct dans le dossier models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Veuillez télécharger ces fichiers dans votre dossier Phi-3.5-vision-instruct @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Téléchargez ce fichier dans le dossier models + +4. Téléchargez ce fichier dans le dossier models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Ouvrez le terminal +5. Accédez au terminal + + Convertissez le support ONNX avec FP32 - Convertissez le modèle ONNX avec support FP32 ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Note :** -1. Model Builder prend actuellement en charge la conversion de Phi-3.5-Instruct et Phi-3.5-Vision, mais pas Phi-3.5-MoE. +1. Model Builder supporte actuellement la conversion de Phi-3.5-Instruct et Phi-3.5-Vision, mais pas Phi-3.5-MoE -2. Pour utiliser le modèle quantifié ONNX, vous pouvez le faire via le SDK Generative AI extensions for onnxruntime. +2. Pour utiliser le modèle quantifié ONNX, vous pouvez l'utiliser via le SDK des extensions d'IA générative pour onnxruntime -3. Il est important de considérer une IA plus responsable, donc après la conversion de quantification du modèle, il est recommandé de réaliser des tests de résultats plus approfondis. +3. Nous devons considérer une IA plus responsable, donc après la conversion en quantification du modèle, il est recommandé de réaliser des tests de résultats plus efficaces + +4. En quantifiant le modèle CPU INT4, nous pouvons le déployer sur des appareils Edge, ce qui offre de meilleurs scénarios d'application, ainsi nous avons terminé Phi-3.5-Instruct autour de INT4 -4. En quantifiant le modèle CPU INT4, nous pouvons le déployer sur des appareils Edge, ce qui offre de meilleures opportunités d’application. Ainsi, nous avons finalisé Phi-3.5-Instruct autour de INT4. ## **Ressources** -1. En savoir plus sur Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. En savoir plus sur les extensions d'IA générative pour onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Dépôt GitHub des extensions d'IA générative pour onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Dépôt GitHub de Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Avertissement** : -Ce document a été traduit à l’aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforcions d’assurer l’exactitude, veuillez noter que les traductions automatiques peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d’origine doit être considéré comme la source faisant foi. Pour les informations critiques, une traduction professionnelle réalisée par un humain est recommandée. Nous déclinons toute responsabilité en cas de malentendus ou de mauvaises interprétations résultant de l’utilisation de cette traduction. \ No newline at end of file + +**Avertissement** : +Ce document a été traduit à l'aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforçions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue native doit être considéré comme la source faisant autorité. Pour les informations critiques, il est recommandé de recourir à une traduction professionnelle réalisée par un humain. Nous ne saurions être tenus responsables des malentendus ou erreurs d'interprétation découlant de l'utilisation de cette traduction. + \ No newline at end of file diff --git a/translations/fr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/fr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 361dc31ad..fe86bf990 100644 --- a/translations/fr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/fr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Guide pour OnnxRuntime GenAI Windows GPU** -Ce guide explique les étapes pour configurer et utiliser ONNX Runtime (ORT) avec des GPU sous Windows. Il est conçu pour vous aider à tirer parti de l’accélération GPU pour vos modèles, améliorant ainsi les performances et l’efficacité. +Ce guide fournit les étapes pour configurer et utiliser ONNX Runtime (ORT) avec des GPU sous Windows. Il est conçu pour vous aider à tirer parti de l'accélération GPU pour vos modèles, améliorant ainsi la performance et l'efficacité. -Le document couvre : +Le document offre des conseils sur : -- Configuration de l’environnement : Instructions pour installer les dépendances nécessaires comme CUDA, cuDNN et ONNX Runtime. -- Configuration : Comment paramétrer l’environnement et ONNX Runtime pour exploiter efficacement les ressources GPU. -- Conseils d’optimisation : Recommandations pour ajuster vos réglages GPU afin d’obtenir des performances optimales. +- Configuration de l'environnement : Instructions pour installer les dépendances nécessaires comme CUDA, cuDNN et ONNX Runtime. +- Configuration : Comment configurer l'environnement et ONNX Runtime pour utiliser efficacement les ressources GPU. +- Conseils d'optimisation : Recommandations pour affiner vos paramètres GPU pour une performance optimale. ### **1. Python 3.10.x /3.11.8** - ***Note*** Il est recommandé d’utiliser [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) comme environnement Python + ***Note*** Il est conseillé d'utiliser [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) comme environnement Python ```bash @@ -20,10 +20,11 @@ Le document couvre : ``` - ***Rappel*** Si vous avez installé une bibliothèque ONNX pour Python, veuillez la désinstaller + ***Rappel*** Si vous avez installé une quelconque bibliothèque Python ONNX, veuillez la désinstaller ### **2. Installer CMake avec winget** + ```bash winget install -e --id Kitware.CMake @@ -32,32 +33,35 @@ Le document couvre : ### **3. Installer Visual Studio 2022 - Développement Desktop avec C++** - ***Note*** Si vous ne souhaitez pas compiler, vous pouvez passer cette étape + ***Note*** Si vous ne souhaitez pas compiler, vous pouvez sauter cette étape ![CPP](../../../../../../translated_images/fr/01.42f52a2b2aedff02.webp) + ### **4. Installer le pilote NVIDIA** -1. **Pilote GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **Pilote GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) -3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) +3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Rappel*** Veuillez utiliser les paramètres par défaut lors de l’installation +***Rappel*** Veuillez utiliser les paramètres par défaut lors du processus d'installation -### **5. Configurer l’environnement NVIDIA** +### **5. Configurer l'environnement NVIDIA** -Copiez les dossiers lib, bin, include de NVIDIA CUDNN 9.4 vers NVIDIA CUDA 12.4 lib, bin, include +Copier les dossiers lib, bin, include de NVIDIA CUDNN 9.4 vers NVIDIA CUDA 12.4 lib, bin, include -- copiez les fichiers de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* vers *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- copier les fichiers de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* vers *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- copiez les fichiers de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* vers *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- copier les fichiers de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* vers *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- copier les fichiers de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* vers *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- copiez les fichiers de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* vers *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Télécharger Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Copiez les dossiers lib, bin, include de NVIDIA CUDNN 9.4 vers NVIDIA CUDA 12.4 ### **7. Exécuter InferencePhi35Instruct.ipynb** - Ouvrez le [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) et lancez l’exécution + Ouvrez le [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) et exécutez + ![RESULT](../../../../../../translated_images/fr/02.b9b06996cf7255d5.webp) + ### **8. Compiler ORT GenAI GPU** + ***Note*** - 1. Veuillez désinstaller d’abord toutes les versions d’onnx, onnxruntime et onnxruntime-genai + 1. Veuillez désinstaller d'abord toutes les bibliothèques liées à onnx, onnxruntime et onnxruntime-genai + ```bash pip list ``` - Ensuite, désinstallez toutes les bibliothèques onnxruntime, par exemple : + Ensuite, désinstallez toutes les bibliothèques onnxruntime, c'est-à-dire + ```bash @@ -100,13 +109,17 @@ Copiez les dossiers lib, bin, include de NVIDIA CUDNN 9.4 vers NVIDIA CUDA 12.4 ``` - 2. Vérifiez la prise en charge de l’extension Visual Studio + 2. Vérifiez le support de l'extension Visual Studio - Vérifiez dans C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras que le dossier C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration est présent. + Vérifiez dans C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras que le dossier C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration est présent. - S’il est absent, cherchez dans les autres dossiers du toolkit CUDA et copiez le dossier visual_studio_integration ainsi que son contenu dans C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + S'il n'est pas trouvé, vérifiez dans les autres dossiers du toolkit Cuda et copiez le dossier visual_studio_integration avec son contenu vers C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Si vous ne souhaitez pas compiler, vous pouvez sauter cette étape - - Si vous ne souhaitez pas compiler, vous pouvez passer cette étape ```bash @@ -118,12 +131,13 @@ Copiez les dossiers lib, bin, include de NVIDIA CUDNN 9.4 vers NVIDIA CUDA 12.4 - Décompressez onnxruntime-win-x64-gpu-1.19.2.zip, renommez-le en **ort**, puis copiez le dossier ort dans onnxruntime-genai - - Avec Windows Terminal, ouvrez Developer Command Prompt for VS 2022 et placez-vous dans onnxruntime-genai + - En utilisant Windows Terminal, ouvrez Developer Command Prompt for VS 2022 et rendez-vous dans onnxruntime-genai ![RESULT](../../../../../../translated_images/fr/03.b83ce473d5ff9b9b.webp) - - Compilez avec votre environnement Python + - Compilez-le avec votre environnement python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Copiez les dossiers lib, bin, include de NVIDIA CUDNN 9.4 vers NVIDIA CUDA 12.4 ``` -**Avertissement** : -Ce document a été traduit à l’aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforcions d’assurer l’exactitude, veuillez noter que les traductions automatiques peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d’origine doit être considéré comme la source faisant foi. Pour les informations critiques, une traduction professionnelle réalisée par un humain est recommandée. Nous déclinons toute responsabilité en cas de malentendus ou de mauvaises interprétations résultant de l’utilisation de cette traduction. \ No newline at end of file +--- + + +**Avertissement** : +Ce document a été traduit à l'aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforçions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue native doit être considéré comme la source faisant autorité. Pour les informations critiques, il est recommandé de recourir à une traduction professionnelle réalisée par un humain. Nous ne saurions être tenus responsables des malentendus ou erreurs d'interprétation découlant de l'utilisation de cette traduction. + \ No newline at end of file diff --git a/translations/fr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/fr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index ebefdfeb2..cd2eb09ee 100644 --- a/translations/fr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/fr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# Utilisation du GPU Windows pour créer une solution Prompt flow avec Phi-3.5-Instruct ONNX +# Utilisation d'un GPU Windows pour créer une solution Prompt flow avec Phi-3.5-Instruct ONNX -Le document suivant est un exemple montrant comment utiliser PromptFlow avec ONNX (Open Neural Network Exchange) pour développer des applications IA basées sur les modèles Phi-3. +Le document suivant est un exemple de comment utiliser PromptFlow avec ONNX (Open Neural Network Exchange) pour développer des applications d'IA basées sur les modèles Phi-3. -PromptFlow est une suite d’outils de développement conçue pour simplifier le cycle complet de création d’applications IA basées sur des LLM (Large Language Model), de l’idéation et du prototypage jusqu’aux tests et à l’évaluation. +PromptFlow est une suite d'outils de développement conçue pour simplifier le cycle de développement complet des applications IA basées sur des LLM (Large Language Model), de l'idéation et du prototypage jusqu'aux tests et à l'évaluation. En intégrant PromptFlow avec ONNX, les développeurs peuvent : -- Optimiser les performances du modèle : tirer parti d’ONNX pour une inférence et un déploiement efficaces. +- Optimiser la performance du modèle : tirer parti d'ONNX pour une inférence et un déploiement efficaces du modèle. - Simplifier le développement : utiliser PromptFlow pour gérer le flux de travail et automatiser les tâches répétitives. -- Améliorer la collaboration : faciliter le travail d’équipe grâce à un environnement de développement unifié. +- Améliorer la collaboration : faciliter une meilleure collaboration entre les membres de l'équipe en proposant un environnement de développement unifié. -**Prompt flow** est une suite d’outils de développement conçue pour fluidifier le cycle complet de création d’applications IA basées sur des LLM, de l’idéation, du prototypage, des tests, de l’évaluation jusqu’au déploiement en production et à la surveillance. Il rend l’ingénierie des prompts beaucoup plus simple et vous permet de créer des applications LLM de qualité production. +**Prompt flow** est une suite d'outils de développement conçue pour simplifier le cycle de développement complet des applications IA basées sur des LLM, de l'idéation, du prototypage, des tests, de l'évaluation jusqu'au déploiement en production et à la surveillance. Il rend l'ingénierie des prompts beaucoup plus facile et vous permet de construire des applications LLM de qualité production. -Prompt flow peut se connecter à OpenAI, Azure OpenAI Service, ainsi qu’à des modèles personnalisables (Huggingface, LLM/SLM locaux). Nous espérons déployer le modèle ONNX quantifié de Phi-3.5 dans des applications locales. Prompt flow peut nous aider à mieux planifier notre activité et à réaliser des solutions locales basées sur Phi-3.5. Dans cet exemple, nous allons combiner la bibliothèque ONNX Runtime GenAI pour compléter la solution Prompt flow basée sur un GPU Windows. +Prompt flow peut se connecter à OpenAI, au service Azure OpenAI, ainsi qu'à des modèles personnalisables (Huggingface, LLM/SLM local). Nous espérons déployer le modèle ONNX quantifié de Phi-3.5 dans des applications locales. Prompt flow peut nous aider à mieux planifier notre activité et à compléter des solutions locales basées sur Phi-3.5. Dans cet exemple, nous combinerons la bibliothèque ONNX Runtime GenAI pour réaliser la solution Prompt flow basée sur un GPU Windows. ## **Installation** ### **ONNX Runtime GenAI pour GPU Windows** -Lisez ce guide pour configurer ONNX Runtime GenAI pour GPU Windows [cliquez ici](./ORTWindowGPUGuideline.md) +Lisez cette directive pour configurer ONNX Runtime GenAI pour GPU Windows [click here](./ORTWindowGPUGuideline.md) ### **Configurer Prompt flow dans VSCode** -1. Installez l’extension Prompt flow pour VS Code +1. Installer l'extension Prompt flow pour VS Code ![pfvscode](../../../../../../translated_images/fr/pfvscode.eff93dfc66a42cbe.webp) -2. Après avoir installé l’extension Prompt flow pour VS Code, cliquez sur l’extension, puis choisissez **Installation dependencies** et suivez ce guide pour installer le SDK Prompt flow dans votre environnement +2. Après avoir installé l'extension Prompt flow VS Code, cliquez sur l'extension, puis choisissez **Installation dependencies** et suivez cette directive pour installer le SDK Prompt flow dans votre environnement ![pfsetup](../../../../../../translated_images/fr/pfsetup.b46e93096f5a254f.webp) -3. Téléchargez le [Code d’exemple](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) et ouvrez cet exemple avec VS Code +3. Téléchargez le [Code d'exemple](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) et ouvrez cet exemple avec VS Code ![pfsample](../../../../../../translated_images/fr/pfsample.8d89e70584ffe7c4.webp) -4. Ouvrez **flow.dag.yaml** pour sélectionner votre environnement Python +4. Ouvrez **flow.dag.yaml** pour choisir votre environnement Python ![pfdag](../../../../../../translated_images/fr/pfdag.264a77f7366458ff.webp) - Ouvrez **chat_phi3_ort.py** pour modifier l’emplacement de votre modèle Phi-3.5-instruct ONNX + Ouvrez **chat_phi3_ort.py** pour modifier l'emplacement de votre modèle ONNX Phi-3.5-instruct ![pfphi](../../../../../../translated_images/fr/pfphi.72da81d74244b45f.webp) -5. Lancez votre prompt flow pour tester +5. Exécutez votre prompt flow pour le tester -Ouvrez **flow.dag.yaml** et cliquez sur l’éditeur visuel +Ouvrez **flow.dag.yaml** puis cliquez sur l'éditeur visuel ![pfv](../../../../../../translated_images/fr/pfv.ba8a81f34b20f603.webp) -Après avoir cliqué, lancez-le pour tester +après avoir cliqué ici, exécutez-le pour tester ![pfflow](../../../../../../translated_images/fr/pfflow.4e1135a089b1ce1b.webp) -1. Vous pouvez exécuter un batch dans le terminal pour vérifier plus de résultats +1. Vous pouvez exécuter par lots dans le terminal pour vérifier plus de résultats ```bash @@ -66,5 +66,9 @@ Vous pouvez consulter les résultats dans votre navigateur par défaut ![pfresult](../../../../../../translated_images/fr/pfresult.c22c826f8062d7cb.webp) -**Avertissement** : -Ce document a été traduit à l’aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforcions d’assurer l’exactitude, veuillez noter que les traductions automatiques peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d’origine doit être considéré comme la source faisant foi. Pour les informations critiques, une traduction professionnelle humaine est recommandée. Nous déclinons toute responsabilité en cas de malentendus ou de mauvaises interprétations résultant de l’utilisation de cette traduction. \ No newline at end of file +--- + + +**Avertissement** : +Ce document a été traduit à l'aide du service de traduction automatique [Co-op Translator](https://github.com/Azure/co-op-translator). Bien que nous nous efforçions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue native doit être considéré comme la source faisant autorité. Pour les informations critiques, il est recommandé de recourir à une traduction professionnelle réalisée par un humain. Nous ne saurions être tenus responsables des malentendus ou erreurs d'interprétation découlant de l'utilisation de cette traduction. + \ No newline at end of file diff --git a/translations/he/.co-op-translator.json b/translations/he/.co-op-translator.json index 8daae32b5..24d909d99 100644 --- a/translations/he/.co-op-translator.json +++ b/translations/he/.co-op-translator.json @@ -23,6 +23,19 @@ "source_file": "SECURITY.md", "language_code": "he" }, + "__translation_failures__": { + "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { + "original_hash": "b066fc29c1b2129df84e027cb75119ce", + "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", + "language_code": "he", + "failure_date": "2026-07-29T17:38:21+00:00", + "status": "failed", + "error_type": "TranslationIncompleteError", + "error_message": "Markdown translation remained incomplete for chunk 1 of 'ORTWindowGPUGuideline.md', and the chunk could not be split further.", + "translator_version": "0.20.0", + "failure_policy_version": 1 + } + }, "code/03.Finetuning/olive-lab/readme.md": { "original_hash": "6bbe47de3b974df7eea29dfeccf6032b", "translation_date": "2025-07-16T15:55:13+00:00", @@ -301,7 +314,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:23:05+00:00", + "translation_date": "2026-07-29T17:36:57+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "he" }, @@ -373,7 +386,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:01:49+00:00", + "translation_date": "2026-07-29T17:37:32+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "he" }, diff --git a/translations/he/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/he/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index c16bd9436..e6ddf5763 100644 --- a/translations/he/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/he/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **איך להשתמש ב-Model Builder כדי לכמת את Phi-3.5** +# **כימות משפחת Phi באמצעות הרחבות בינה מלאכותית גנרטיבית ל-onnxruntime** -כעת Model Builder תומך בכימות מודלי ONNX עבור Phi-3.5 Instruct ו-Phi-3.5-Vision +## **מהן הרחבות בינה מלאכותית גנרטיבית ל-onnxruntime** + +הרחבות אלו מאפשרות להריץ בינה מלאכותית גנרטיבית באמצעות ONNX Runtime( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). הן מספקות את הלולאה של בינה מלאכותית גנרטיבית עבור מודלים של ONNX, כולל אינפרנס עם ONNX Runtime, עיבוד לוגיטים, חיפוש ודגימה, וניהול מטמון KV. מפתחים יכולים לקרוא לשיטת generate() ברמה גבוהה, או להריץ כל איטרציה של המודל בלולאה, לייצר טוקן אחד בכל פעם, ואפשרות לעדכן פרמטרים של ההפקה בתוך הלולאה. היא תומכת בחיפוש greedy/beam ודגימת TopP, TopK ליצירת רצפי טוקנים ועיבוד לוגיטים מובנה כמו עונשי חזרה. אפשר גם להוסיף בקלות דירוג מותאם אישית. + +ברמת היישום, ניתן להשתמש בהרחבות בינה מלאכותית גנרטיבית ל-onnxruntime כדי לבנות יישומים בשפות C++/ C# / Python. ברמת המודל, ניתן להשתמש בה למיזוג מודלים מוסדרים ולבצע עבודה כמותית קשורה לפריסה. + + +## **כימות Phi-3.5 עם הרחבות בינה מלאכותית גנרטיבית ל-onnxruntime** + +### **מודלים נתמכים** + +הרחבות בינה מלאכותית גנרטיבית ל-onnxruntime תומכות בהמרת כימות של Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **בונה מודלים בהרחבות בינה מלאכותית גנרטיבית ל-onnxruntime** + +בונה המודלים מאיץ משמעותית את יצירת המודלים המותאמים והמכילים כימות של ONNX שפועלים עם ממשק generate() של ONNX Runtime. + +דרך בונה המודלים, ניתן לכמת את המודל ל-INT4, INT8, FP16, FP32, ולשלב שיטות האצת חומרה שונות כמו CPU, CUDA, DirectML, Mobile ועוד. + +לשימוש בבונה המודלים נדרש להתקין + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +לאחר ההתקנה, ניתן להריץ את הסקריפט של בונה המודלים מהטרמינל לביצוע המרת פורמט ומעבר כימות. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +הבנת הפרמטרים הרלוונטיים + +1. **model_name** זהו המודל ב-Hugging face, כמו microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, וכדומה. זה יכול להיות גם הנתיב בו שמרתם את המודל + +2. **path_to_output_folder** נתיב שמירת ההמרה עם הכימות + +3. **execution_provider** תמיכה בשיטות האצת חומרה שונות, כמו cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** אנו מורידים את המודל מה-Hugging face ומטמיעים אותו במטמון מקומי + + + + +***הערה：*** + +## **כיצד להשתמש בבונה המודלים לכימות Phi-3.5** + +בונה המודלים תומך כעת בכימות מודל ONNX עבור Phi-3.5 Instruct ו-Phi-3.5-Vision ### **Phi-3.5-Instruct** -**המרה מואצת ב-CPU של כימות INT4** + +**המרה מואצת באמצעות CPU של כימות INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**המרה מואצת ב-CUDA של כימות INT4** +**המרה מואצת באמצעות CUDA של כימות INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. הגדר את הסביבה בטרמינל +1. הגדר סביבה בטרמינל ```bash @@ -40,10 +101,10 @@ cd models ``` -2. הורד את microsoft/Phi-3.5-vision-instruct לתיקיית models +2. הורד את microsoft/Phi-3.5-vision-instruct לתיקיית המודלים [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. הורד את הקבצים האלה לתיקיית Phi-3.5-vision-instruct שלך +3. אנא הורד את הקבצים הבאים לתיקיית Phi-3.5-vision-instruct שלך - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. הורד את הקובץ הזה לתיקיית models + +4. הורד קובץ זה לתיקיית המודלים [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. עבור לטרמינל - המר תמיכה ב-ONNX עם FP32 + המר תמיכה ONNX עם FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **הערה：** -1. Model Builder תומך כרגע בהמרה של Phi-3.5-Instruct ו-Phi-3.5-Vision, אך לא ב-Phi-3.5-MoE +1. בונה המודלים כרגע תומך בהמרת Phi-3.5-Instruct ו-Phi-3.5-Vision, אך לא ב-Phi-3.5-MoE -2. כדי להשתמש במודל הכמותי של ONNX, ניתן להשתמש בו דרך ה-SDK של Generative AI extensions for onnxruntime +2. לשימוש במודל המכווץ של ONNX, ניתן להשתמש ב-SDK של הרחבות בינה מלאכותית גנרטיבית של onnxruntime -3. יש לקחת בחשבון אחריות AI, לכן לאחר המרת הכימות מומלץ לבצע בדיקות תוצאה יעילות יותר +3. עלינו לקחת בחשבון בינה מלאכותית אחראית יותר, לכן לאחר המרת כימות המודל מומלץ לבצע בדיקות תוצאה אפקטיביות יותר + +4. על ידי כימות מודל CPU INT4, אנו יכולים לפרוס אותו למכשירי קצה, שיש להם תרחישי שימוש טובים יותר, לכן סיימנו את Phi-3.5-Instruct בסביבות INT 4 -4. על ידי כימות מודל CPU INT4, ניתן לפרוס אותו למכשירי Edge, מה שמאפשר תרחישי שימוש טובים יותר, ולכן סיימנו את Phi-3.5-Instruct סביב INT4 ## **משאבים** -1. למידע נוסף על Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. למידע נוסף על הרחבות בינה מלאכותית גנרטיבית ל-onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. מאגר GitHub להרחבות בינה מלאכותית גנרטיבית ל-onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. מאגר GitHub של Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**כתב ויתור**: -מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית [Co-op Translator](https://github.com/Azure/co-op-translator). למרות שאנו שואפים לדיוק, יש לקחת בחשבון כי תרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפת המקור שלו נחשב למקור הסמכותי. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אנושי. אנו לא נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה. \ No newline at end of file + +**כתב ויתור**: +מסמך זה תורגם באמצעות שירות תרגום אוטומטי [Co-op Translator](https://github.com/Azure/co-op-translator). למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. יש להחשיב את המסמך המקורי בשפתו הטבעית כמקור הסמכות. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אדם. אנו לא אחראים לכל אי-הבנה או פירוש שגוי הנובע מהשימוש בתרגום זה. + \ No newline at end of file diff --git a/translations/he/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/he/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 999b7be64..d16bd22a3 100644 --- a/translations/he/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/he/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# שימוש ב-GPU של Windows ליצירת פתרון Prompt flow עם Phi-3.5-Instruct ONNX +# שימוש ב-GPU של Windows ליצירת פתרון Prompt flow עם Phi-3.5-Instruct ONNX -המסמך הבא הוא דוגמה לאופן השימוש ב-PromptFlow עם ONNX (Open Neural Network Exchange) לפיתוח יישומי בינה מלאכותית מבוססי מודלים מסוג Phi-3. +המסמך הבא הוא דוגמה לאופן השימוש ב-PromptFlow עם ONNX (Open Neural Network Exchange) לפיתוח יישומי AI המבוססים על מודלים של Phi-3. -PromptFlow היא חבילת כלים לפיתוח שמטרתה לייעל את מחזור הפיתוח המלא של יישומי בינה מלאכותית מבוססי LLM (Large Language Model), החל מרעיונות ופרוטוטייפינג ועד לבדיקות והערכה. +PromptFlow היא חבילת כלים לפיתוח שנועדה לייעל את מחזור הפיתוח ממקור ליישום של יישומי AI מבוססי LLM (מודל שפה גדול), מתכנון ואבטיפוס ועד לבדיקה והערכה. -באמצעות שילוב של PromptFlow עם ONNX, מפתחים יכולים: +באמצעות שילוב PromptFlow עם ONNX, מפתחים יכולים: -- לשפר את ביצועי המודל: לנצל את ONNX לאינפרנס ופריסה יעילים של המודל. +- לשפר את ביצועי המודל: לנצל את ONNX לאינפרנציה ופריסה יעילה של מודל. - לפשט את הפיתוח: להשתמש ב-PromptFlow לניהול זרימת העבודה ואוטומציה של משימות חוזרות. -- לשפר את שיתוף הפעולה: לאפשר שיתוף פעולה טוב יותר בין חברי הצוות על ידי מתן סביבת פיתוח מאוחדת. +- לשפר את שיתוף הפעולה: להקל על שיתוף פעולה טוב יותר בין חברי הצוות בעזרת סביבת פיתוח מאוחדת. -**Prompt flow** היא חבילת כלים לפיתוח שמטרתה לייעל את מחזור הפיתוח המלא של יישומי בינה מלאכותית מבוססי LLM, החל מרעיונות, פרוטוטייפינג, בדיקות, הערכה ועד לפריסה ומעקב בייצור. היא מקלה מאוד על הנדסת הפרומפט ומאפשרת לבנות אפליקציות LLM באיכות ייצור. +**Prompt flow** היא חבילת כלים לפיתוח שנועדה לייעל את מחזור הפיתוח ממקור ליישום של יישומי AI מבוססי LLM, מתכנון, אבטיפוס, בדיקה, הערכה ועד פריסה ומעקב בייצור. היא הופכת את הנדסת הפקודות לקלה הרבה יותר ומאפשרת לך לבנות אפליקציות LLM באיכות ייצור. -Prompt flow יכולה להתחבר ל-OpenAI, Azure OpenAI Service, ולמודלים מותאמים אישית (Huggingface, LLM/SLM מקומי). אנו מקווים לפרוס את מודל ONNX הכמותי של Phi-3.5 באפליקציות מקומיות. Prompt flow יכולה לעזור לנו לתכנן טוב יותר את העסק ולהשלים פתרונות מקומיים מבוססי Phi-3.5. בדוגמה זו, נשלב את ONNX Runtime GenAI Library כדי להשלים את פתרון Prompt flow מבוסס Windows GPU. +Prompt flow יכולה להתחבר ל-OpenAI, ל-Azure OpenAI Service ולמודלים הניתנים להתאמה אישית (Huggingface, LLM/SLM מקומי). אנו מקווים לפרוס את מודל ה-ONNX הכוונטי של Phi-3.5 ליישומים מקומיים. Prompt flow יכולה לסייע לנו בתכנון עסקי טוב יותר ובהשלמת פתרונות מקומיים המבוססים על Phi-3.5. בדוגמה זו, נשולב את ONNX Runtime GenAI Library להשלים את פתרון ה-Prompt flow מבוסס GPU של Windows. ## **התקנה** ### **ONNX Runtime GenAI עבור Windows GPU** -קראו את ההנחיות להגדרת ONNX Runtime GenAI עבור Windows GPU [לחצו כאן](./ORTWindowGPUGuideline.md) +קרא את ההנחיה הזו כדי להגדיר ONNX Runtime GenAI עבור Windows GPU [click here](./ORTWindowGPUGuideline.md) ### **הגדרת Prompt flow ב-VSCode** -1. התקינו את תוסף Prompt flow ל-VS Code +1. התקן את הרחבת Prompt flow ב-VSCode ![pfvscode](../../../../../../translated_images/he/pfvscode.eff93dfc66a42cbe.webp) -2. לאחר התקנת התוסף, לחצו עליו ובחרו **Installation dependencies** ופעלו לפי ההנחיות להתקנת Prompt flow SDK בסביבת העבודה שלכם +2. לאחר התקנת הרחבת Prompt flow ב-VSCode, לחץ על ההרחבה ובחר **תלויות התקנה** ופעל לפי ההנחיה הזו להתקנת ה-SDK של Prompt flow בסביבתך ![pfsetup](../../../../../../translated_images/he/pfsetup.b46e93096f5a254f.webp) -3. הורידו את [קוד הדוגמה](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ופתחו אותו ב-VS Code +3. הורד [קוד לדוגמה](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ופתח את הדוגמה הזו ב-VSCode ![pfsample](../../../../../../translated_images/he/pfsample.8d89e70584ffe7c4.webp) -4. פתחו את הקובץ **flow.dag.yaml** כדי לבחור את סביבת הפייתון שלכם +4. פתח **flow.dag.yaml** כדי לבחור את סביבת ה-Python שלך ![pfdag](../../../../../../translated_images/he/pfdag.264a77f7366458ff.webp) - פתחו את **chat_phi3_ort.py** כדי לשנות את מיקום מודל Phi-3.5-instruct ONNX שלכם + פתח את **chat_phi3_ort.py** כדי לשנות את מיקום מודל Phi-3.5-instruct ONNX שלך ![pfphi](../../../../../../translated_images/he/pfphi.72da81d74244b45f.webp) -5. הריצו את ה-prompt flow שלכם לבדיקה +5. הרץ את prompt flow שלך לבדיקה -פתחו את **flow.dag.yaml** ולחצו על העורך הוויזואלי +פתח את **flow.dag.yaml** ולחץ על עורך חזותי ![pfv](../../../../../../translated_images/he/pfv.ba8a81f34b20f603.webp) -לאחר הלחיצה, הריצו את הפתרון לבדיקה +לאחר שלחצת על זה, הרץ כדי לבדוק ![pfflow](../../../../../../translated_images/he/pfflow.4e1135a089b1ce1b.webp) -1. ניתן להריץ אצווה בטרמינל כדי לבדוק תוצאות נוספות +1. ניתן להריץ באצווה בטרמינל כדי לבדוק תוצאות נוספות ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -ניתן לבדוק את התוצאות בדפדפן המוגדר כברירת מחדל +ניתן לבדוק תוצאות בדפדפן המוגדר כברירת מחדל שלך ![pfresult](../../../../../../translated_images/he/pfresult.c22c826f8062d7cb.webp) -**כתב ויתור**: -מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית [Co-op Translator](https://github.com/Azure/co-op-translator). למרות שאנו שואפים לדיוק, יש לקחת בחשבון כי תרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפת המקור שלו נחשב למקור הסמכותי. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אנושי. אנו לא נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה. \ No newline at end of file +--- + + +**כתב ויתור**: +מסמך זה תורגם באמצעות שירות תרגום אוטומטי [Co-op Translator](https://github.com/Azure/co-op-translator). למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. יש להחשיב את המסמך המקורי בשפתו הטבעית כמקור הסמכות. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אדם. אנו לא אחראים לכל אי-הבנה או פירוש שגוי הנובע מהשימוש בתרגום זה. + \ No newline at end of file diff --git a/translations/hi/.co-op-translator.json b/translations/hi/.co-op-translator.json index dc86ed06b..d4cfb1e9d 100644 --- a/translations/hi/.co-op-translator.json +++ b/translations/hi/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:17:42+00:00", + "translation_date": "2026-07-29T18:09:16+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "hi" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:58:39+00:00", + "translation_date": "2026-07-29T18:09:33+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "hi" }, diff --git a/translations/hi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/hi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 9573a4020..4aa6f3ae1 100644 --- a/translations/hi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/hi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Model Builder का उपयोग करके Phi-3.5 को क्वांटाइज़ कैसे करें** +# **onnxruntime के लिए Generative AI एक्सटेंशंस का उपयोग करते हुए Phi परिवार का क्वांटाइजेशन** -Model Builder अब Phi-3.5 Instruct और Phi-3.5-Vision के लिए ONNX मॉडल क्वांटाइज़ेशन का समर्थन करता है। +## **onnxruntime के लिए Generative AI एक्सटेंशंस क्या हैं** + +यह एक्सटेंशंस आपको ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) के साथ जनरेटिव AI चलाने में मदद करता है। यह ONNX मॉडल के लिए जनरेटिव AI लूप प्रदान करता है, जिसमें ONNX Runtime के साथ इनफेरेंस, लॉजिट्स प्रोसेसिंग, सर्च और सैंपलिंग, और KV कैश प्रबंधन शामिल हैं। डेवलपर्स उच्च स्तरीय generate() मेथड को कॉल कर सकते हैं, या मॉडल के प्रत्येक इटरेशन को लूप में चला सकते हैं, एक बार में एक टोकन जनरेट करते हुए, और ऑप्शनली लूप के अंदर जनरेशन पैरामीटर अपडेट कर सकते हैं। इसमें टोकन अनुक्रम उत्पन्न करने के लिए ग्रीडी/बीम सर्च और TopP, TopK सैंपलिंग के लिए सपोर्ट है और दोहराव दंड जैसे अंतर्निर्मित लॉजिट्स प्रोसेसिंग शामिल है। आप कस्टम स्कोरिंग भी आसानी से जोड़ सकते हैं। + +आवेदन स्तर पर, आप C++/ C# / Python का उपयोग करके Generative AI एक्सटेंशंस का उपयोग करके एप्लिकेशन बना सकते हैं। मॉडल स्तर पर, आप इसे फाइन-ट्यून किए गए मॉडल मर्ज करने और संबंधित मात्रात्मक डिप्लॉयमेंट कार्य करने के लिए उपयोग कर सकते हैं। + + +## **onnxruntime के लिए Generative AI एक्सटेंशंस की मदद से Phi-3.5 का क्वांटाइजेशन** + +### **समर्थित मॉडल** + +onnxruntime के लिए Generative AI एक्सटेंशंस Microsoft Phi, Google Gemma, Mistral, Meta LLaMA के क्वांटाइजेशन कन्वर्शन का समर्थन करते हैं। + + +### **onnxruntime के लिए Generative AI एक्सटेंशंस में मॉडल बिल्डर** + +मॉडल बिल्डर से ONNX Runtime generate() API के साथ चलने वाले अनुकूलित और क्वांटाइज्ड ONNX मॉडल बनाना बहुत तेज़ होता है। + +मॉडल बिल्डर के माध्यम से, आप मॉडल को INT4, INT8, FP16, FP32 में क्वांटाइज कर सकते हैं, और CPU, CUDA, DirectML, Mobile आदि जैसे विभिन्न हार्डवेयर अकसेलेरेशन तरीकों को संयोजित कर सकते हैं। + +मॉडल बिल्डर इस्तेमाल करने के लिए आपको इंस्टॉल करना होगा + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +इंस्टॉलेशन के बाद, आप टर्मिनल से मॉडल बिल्डर स्क्रिप्ट चला कर मॉडल फॉर्मेट और क्वांटाइजेशन कन्वर्शन कर सकते हैं। + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +प्रासंगिक पैरामीटर समझें + +1. **model_name** यह Hugging face पर मॉडल है, जैसे microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct आदि। यह उस पाथ भी हो सकता है जहां आप मॉडल स्टोर करते हैं + +2. **path_to_output_folder** क्वांटाइज्ड कन्वर्शन सेव पाथ + +3. **execution_provider** विभिन्न हार्डवेयर अकसेलेरेशन सपोर्ट, जैसे cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** हम मॉडल को Hugging face से डाउनलोड कर स्थानीय रूप से कैश करते हैं + + + + +***नोट：*** + +## **Phi-3.5 क्वांटाइजेशन के लिए मॉडल बिल्डर का उपयोग कैसे करें** + +मॉडल बिल्डर अब Phi-3.5 Instruct और Phi-3.5-Vision के लिए ONNX मॉडल क्वांटाइजेशन का समर्थन करता है ### **Phi-3.5-Instruct** -**क्वांटाइज़्ड INT4 का CPU त्वरित रूपांतरण** + +**क्वांटाइज्ड INT 4 का CPU तेज़ कन्वर्शन** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**क्वांटाइज़्ड INT4 का CUDA त्वरित रूपांतरण** +**क्वांटाइज्ड INT 4 का CUDA तेज़ कन्वर्शन** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. टर्मिनल में पर्यावरण सेट करें +1. टर्मिनल में वातावरण सेट करें ```bash @@ -40,10 +101,10 @@ cd models ``` -2. models फ़ोल्डर में microsoft/Phi-3.5-vision-instruct डाउनलोड करें +2. models फोल्डर में microsoft/Phi-3.5-vision-instruct डाउनलोड करें [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. कृपया ये फाइलें अपने Phi-3.5-vision-instruct फ़ोल्डर में डाउनलोड करें +3. कृपया ये फाइलें अपने Phi-3.5-vision-instruct फोल्डर में डाउनलोड करें - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. models फ़ोल्डर में यह फाइल डाउनलोड करें + +4. इस फाइल को models फोल्डर में डाउनलोड करें [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. टर्मिनल पर जाएं FP32 के साथ ONNX सपोर्ट को कन्वर्ट करें + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **ध्यान दें：** -1. Model Builder वर्तमान में Phi-3.5-Instruct और Phi-3.5-Vision के रूपांतरण का समर्थन करता है, लेकिन Phi-3.5-MoE का नहीं करता। +### **नोट：** + +1. मॉडल बिल्डर वर्तमान में Phi-3.5-Instruct और Phi-3.5-Vision के कन्वर्शन का समर्थन करता है, लेकिन Phi-3.5-MoE का नहीं -2. ONNX के क्वांटाइज़्ड मॉडल का उपयोग Generative AI extensions for onnxruntime SDK के माध्यम से किया जा सकता है। +2. ONNX के क्वांटाइज्ड मॉडल का उपयोग आप onnxruntime के लिए Generative AI एक्सटेंशंस SDK के माध्यम से कर सकते हैं -3. हमें अधिक जिम्मेदार AI पर विचार करना चाहिए, इसलिए मॉडल क्वांटाइज़ेशन के बाद अधिक प्रभावी परिणाम परीक्षण करने की सलाह दी जाती है। +3. हमें अधिक जिम्मेदार AI पर विचार करना होगा, इसलिए मॉडल क्वांटाइजेशन कन्वर्शन के बाद, यह अधिक प्रभावी परिणाम परीक्षण की सलाह दी जाती है + +4. CPU INT4 मॉडल को क्वांटाइज़ करके, हम इसे Edge Device पर डिप्लॉय कर सकते हैं, जिसके उपयोग के बेहतर परिदृश्य हैं, इसलिए हमने Phi-3.5-Instruct का INT 4 के आसपास पूरा किया है -4. CPU INT4 मॉडल को क्वांटाइज़ करके, हम इसे Edge Device पर तैनात कर सकते हैं, जो बेहतर अनुप्रयोग परिदृश्य प्रदान करता है, इसलिए हमने Phi-3.5-Instruct को INT4 के आसपास पूरा किया है। ## **संसाधन** -1. Generative AI extensions for onnxruntime के बारे में अधिक जानें [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. onnxruntime के लिए Generative AI एक्सटेंशंस के बारे में अधिक जानें [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. onnxruntime के लिए Generative AI एक्सटेंशंस GitHub रिपॉजिटरी [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub रिपॉजिटरी [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**अस्वीकरण**: -यह दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में ही अधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सलाह दी जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में ही प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। + \ No newline at end of file diff --git a/translations/hi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/hi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index a690e5351..b873e0832 100644 --- a/translations/hi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/hi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,59 @@ -# Windows GPU का उपयोग करके Phi-3.5-Instruct ONNX के साथ Prompt flow समाधान बनाना +# Phi-3.5-Instruct ONNX के साथ Windows GPU का उपयोग करके Prompt flow समाधान बनाना -निम्नलिखित दस्तावेज़ यह उदाहरण प्रस्तुत करता है कि Phi-3 मॉडल पर आधारित AI एप्लिकेशन विकसित करने के लिए ONNX (Open Neural Network Exchange) के साथ PromptFlow का उपयोग कैसे किया जाए। +निम्नलिखित दस्तावेज़ एक उदाहरण है कि Phi-3 मॉडलों पर आधारित AI अनुप्रयोग विकसित करने के लिए ONNX (Open Neural Network Exchange) के साथ PromptFlow का उपयोग कैसे करें। -PromptFlow एक विकास उपकरणों का समूह है, जो LLM-आधारित (Large Language Model) AI एप्लिकेशन के संपूर्ण विकास चक्र को सरल बनाने के लिए डिज़ाइन किया गया है, जिसमें विचार-विमर्श, प्रोटोटाइपिंग, परीक्षण और मूल्यांकन शामिल हैं। +PromptFlow एक विकास उपकरणों का समूह है जिसे LLM-आधारित (Large Language Model) AI अनुप्रयोगों के संपूर्ण विकास चक्र को सरल बनाने के लिए डिज़ाइन किया गया है, जिसमें विचार-विमर्श, प्रोटोटाइपिंग से लेकर परीक्षण और मूल्यांकन शामिल हैं। PromptFlow को ONNX के साथ एकीकृत करके, डेवलपर्स निम्न कर सकते हैं: -- मॉडल प्रदर्शन का अनुकूलन करें: कुशल मॉडल इन्फरेंस और तैनाती के लिए ONNX का लाभ उठाएं। -- विकास को सरल बनाएं: वर्कफ़्लो प्रबंधन और दोहराए जाने वाले कार्यों को स्वचालित करने के लिए PromptFlow का उपयोग करें। -- सहयोग को बढ़ावा दें: एक एकीकृत विकास वातावरण प्रदान करके टीम के सदस्यों के बीच बेहतर सहयोग को सक्षम करें। +- मॉडल प्रदर्शन को अनुकूलित करें: कुशल मॉडल निष्पादन और तैनाती के लिए ONNX का उपयोग करें। +- विकास सरल बनाएं: वर्कफ़्लो को प्रबंधित करने और दोहराए जाने वाले कार्यों को स्वचालित करने के लिए PromptFlow का उपयोग करें। +- सहयोग बढ़ाएं: एक एकीकृत विकास वातावरण प्रदान करके टीम के सदस्यों के बीच बेहतर सहयोग को सुविधाजनक बनाएं। -**Prompt flow** एक विकास उपकरणों का समूह है, जो LLM-आधारित AI एप्लिकेशन के संपूर्ण विकास चक्र को सरल बनाने के लिए डिज़ाइन किया गया है, जिसमें विचार-विमर्श, प्रोटोटाइपिंग, परीक्षण, मूल्यांकन से लेकर उत्पादन तैनाती और निगरानी तक शामिल है। यह प्रॉम्प्ट इंजीनियरिंग को बहुत आसान बनाता है और आपको उत्पादन गुणवत्ता वाले LLM ऐप्स बनाने में सक्षम बनाता है। +**Prompt flow** विकास उपकरणों का एक समूह है जिसे LLM-आधारित AI अनुप्रयोगों के अंत से अंत तक विकास चक्र को सरल बनाने के लिए डिज़ाइन किया गया है, जिसमें विचार-विमर्श, प्रोटोटाइपिंग, परीक्षण, मूल्यांकन से लेकर उत्पादन तैनाती और निगरानी तक शामिल है। यह prompt इंजीनियरिंग को बहुत आसान बनाता है और आपको उत्पादन गुणवत्ता के साथ LLM ऐप्स बनाने में सक्षम बनाता है। -Prompt flow OpenAI, Azure OpenAI Service, और कस्टमाइजेबल मॉडल्स (Huggingface, स्थानीय LLM/SLM) से कनेक्ट हो सकता है। हम Phi-3.5 के क्वांटाइज़्ड ONNX मॉडल को स्थानीय एप्लिकेशन में तैनात करने की उम्मीद करते हैं। Prompt flow हमें अपने व्यवसाय की बेहतर योजना बनाने और Phi-3.5 पर आधारित स्थानीय समाधान पूरा करने में मदद कर सकता है। इस उदाहरण में, हम Windows GPU पर आधारित Prompt flow समाधान पूरा करने के लिए ONNX Runtime GenAI लाइब्रेरी को संयोजित करेंगे। +Prompt flow OpenAI, Azure OpenAI सेवा, और अनुकूलनीय मॉडलों (Huggingface, स्थानीय LLM/SLM) से जुड़ सकता है। हम Phi-3.5 के क्वांटाइज्ड ONNX मॉडल को स्थानीय अनुप्रयोगों पर तैनात करने की उम्मीद करते हैं। Prompt flow हमें हमारे व्यवसाय की बेहतर योजना बनाने और Phi-3.5 पर आधारित स्थानीय समाधानों को पूरा करने में मदद कर सकता है। इस उदाहरण में, हम Prompt flow समाधान को Windows GPU पर आधारित पूरा करने के लिए ONNX Runtime GenAI लाइब्रेरी को जोड़ेंगे। -## **इंस्टॉलेशन** +## **स्थापना** ### **Windows GPU के लिए ONNX Runtime GenAI** -Windows GPU के लिए ONNX Runtime GenAI सेट करने के लिए इस गाइडलाइन को पढ़ें [यहाँ क्लिक करें](./ORTWindowGPUGuideline.md) +Windows GPU के लिए ONNX Runtime GenAI सेट करने के लिए इस मार्गदर्शिका को पढ़ें [यहाँ क्लिक करें](./ORTWindowGPUGuideline.md) -### **VSCode में Prompt flow सेटअप करें** +### **VSCode में Prompt flow सेट करें** 1. Prompt flow VS Code एक्सटेंशन इंस्टॉल करें ![pfvscode](../../../../../../translated_images/hi/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code एक्सटेंशन इंस्टॉल करने के बाद, एक्सटेंशन पर क्लिक करें, और **Installation dependencies** चुनें, इस गाइडलाइन का पालन करते हुए अपने पर्यावरण में Prompt flow SDK इंस्टॉल करें +2. Prompt flow VS Code एक्सटेंशन इंस्टॉल करने के बाद, एक्सटेंशन पर क्लिक करें, और **Installation dependencies** चुनें, इस मार्गदर्शिका का पालन करके अपने वातावरण में Prompt flow SDK स्थापित करें ![pfsetup](../../../../../../translated_images/hi/pfsetup.b46e93096f5a254f.webp) -3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) डाउनलोड करें और VS Code में इस सैंपल को खोलें +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) डाउनलोड करें और इस सैंपल को VS Code में खोलें ![pfsample](../../../../../../translated_images/hi/pfsample.8d89e70584ffe7c4.webp) -4. अपनी Python पर्यावरण चुनने के लिए **flow.dag.yaml** खोलें +4. अपनी Python एन्वायरनमेंट चुनने के लिए **flow.dag.yaml** खोलें ![pfdag](../../../../../../translated_images/hi/pfdag.264a77f7366458ff.webp) - अपनी Phi-3.5-instruct ONNX मॉडल का स्थान बदलने के लिए **chat_phi3_ort.py** खोलें + अपनी Phi-3.5-instruct ONNX मॉडल स्थान बदलने के लिए **chat_phi3_ort.py** खोलें ![pfphi](../../../../../../translated_images/hi/pfphi.72da81d74244b45f.webp) -5. अपने prompt flow को परीक्षण के लिए चलाएं +5. परीक्षण के लिए अपनी prompt flow चलाएं **flow.dag.yaml** खोलें और विज़ुअल एडिटर पर क्लिक करें ![pfv](../../../../../../translated_images/hi/pfv.ba8a81f34b20f603.webp) -इस पर क्लिक करने के बाद, इसे चलाकर परीक्षण करें +इसे क्लिक करने के बाद, परीक्षण के लिए इसे चलाएं ![pfflow](../../../../../../translated_images/hi/pfflow.4e1135a089b1ce1b.webp) -1. आप टर्मिनल में बैच चला सकते हैं ताकि अधिक परिणाम देख सकें +1. आप अधिक परिणाम जांचने के लिए टर्मिनल में बैच चला सकते हैं + ```bash @@ -62,7 +63,12 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' आप अपने डिफ़ॉल्ट ब्राउज़र में परिणाम देख सकते हैं + ![pfresult](../../../../../../translated_images/hi/pfresult.c22c826f8062d7cb.webp) -**अस्वीकरण**: -यह दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में ही अधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सलाह दी जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file +--- + + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में ही प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। + \ No newline at end of file diff --git a/translations/hr/.co-op-translator.json b/translations/hr/.co-op-translator.json index d7de2a577..470843102 100644 --- a/translations/hr/.co-op-translator.json +++ b/translations/hr/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:26:48+00:00", + "translation_date": "2026-07-29T17:13:55+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "hr" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:47:53+00:00", + "translation_date": "2026-07-29T17:14:28+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "hr" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:04:10+00:00", + "translation_date": "2026-07-29T17:14:09+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "hr" }, diff --git a/translations/hr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/hr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 5576f476b..bd3594133 100644 --- a/translations/hr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/hr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Kako koristiti Model Builder za kvantizaciju Phi-3.5** +# **Kvantizacija Phi obitelji pomoću Generative AI ekstenzija za onnxruntime** -Model Builder sada podržava kvantizaciju ONNX modela za Phi-3.5 Instruct i Phi-3.5-Vision +## **Što su Generative AI ekstenzije za onnxruntime** + +Ove ekstenzije pomažu vam u pokretanju generativne AI s ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). One pružaju generativni AI ciklus za ONNX modele, uključujući izvršavanje s ONNX Runtime, obradu logita, pretraživanje i uzorkovanje, te upravljanje KV cacheom. Programeri mogu pozvati visoko razinu generate() metodu ili pokrenuti svaku iteraciju modela u petlji, generirajući jedan token u isto vrijeme i po potrebi ažurirajući parametre generiranja unutar petlje. Podržava greedy/beam pretraživanje i TopP, TopK uzorkovanje za generiranje nizova tokena, kao i ugrađenu obradu logita poput kazni za ponavljanje. Također lako možete dodati vlastito ocjenjivanje. + +Na razini aplikacije možete koristiti Generative AI ekstenzije za onnxruntime za izradu aplikacija u C++/C#/Python. Na razini modela, možete ih koristiti za spajanje fino podešenih modela i obavljanje povezane kvantitativne implementacije. + + +## **Kvantizacija Phi-3.5 pomoću Generative AI ekstenzija za onnxruntime** + +### **Podržani modeli** + +Generative AI ekstenzije za onnxruntime podržavaju konverziju kvantizacije Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Izrada modela u Generative AI ekstenzijama za onnxruntime** + +Izrada modela znatno ubrzava stvaranje optimiziranih i kvantiziranih ONNX modela koji rade s ONNX Runtime generate() API-jem. + +Putem Izrade modela možete kvantizirati model u INT4, INT8, FP16, FP32 i kombinirati različite metode hardverskog ubrzanja poput CPU, CUDA, DirectML, Mobile i dr. + +Za korištenje Izrade modela potrebno je instalirati + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Nakon instalacije, možete pokrenuti skriptu Izrade modela iz terminala da izvršite konverziju formata i kvantizacije modela. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Razumijevanje relevantnih parametara + +1. **model_name** Ovo je model na Hugging faceu, kao microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct itd. Također može biti putanja gdje pohranjujete model + +2. **path_to_output_folder** Putanja spremanja kvantizirane konverzije + +3. **execution_provider** Različite podrške za hardversko ubrzanje, poput cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Model preuzimamo s Hugging facea i keširamo lokalno + + + + +***Napomena：*** + +## **Kako koristiti Izradu modela za kvantizaciju Phi-3.5** + +Izrada modela sada podržava kvantizaciju ONNX modela za Phi-3.5 Instruct i Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU ubrzana konverzija kvantiziranog INT4** + +**CPU ubrzana konverzija kvantiziranog INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA ubrzana konverzija kvantiziranog INT4** +**CUDA ubrzana konverzija kvantiziranog INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Preuzmite microsoft/Phi-3.5-vision-instruct u mapu models +2. Preuzmite microsoft/Phi-3.5-vision-instruct u mapu models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Molimo preuzmite ove datoteke u svoju Phi-3.5-vision-instruct mapu +3. Molimo preuzmite ove datoteke u vašu Phi-3.5-vision-instruct mapu - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Preuzmite ovu datoteku u mapu models + +4. Preuzmite ovu datoteku u mapu models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Otvorite terminal +5. Idite u terminal Konvertirajte ONNX podršku s FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **Napomena:** -1. Model Builder trenutno podržava konverziju Phi-3.5-Instruct i Phi-3.5-Vision, ali ne i Phi-3.5-MoE +### **Napomena：** + +1. Izrada modela trenutno podržava konverziju Phi-3.5-Instruct i Phi-3.5-Vision, ali ne i Phi-3.5-MoE -2. Za korištenje kvantiziranog ONNX modela, možete ga koristiti putem Generative AI extensions for onnxruntime SDK-a +2. Za korištenje ONNX kvantiziranog modela, možete ga koristiti kroz Generative AI ekstenzije za onnxruntime SDK -3. Potrebno je razmotriti odgovorniji AI, stoga se nakon kvantizacijske konverzije modela preporučuje provesti detaljnije testiranje rezultata +3. Moramo više razmotriti odgovornu AI, stoga se nakon konverzije kvantizacije modela preporučuje provesti učinkovitije testiranje rezultata + +4. Kvantizacijom CPU INT4 modela, možemo ga implementirati na Edge uređaj, koji ima bolje scenarije primjene, tako da smo dovršili Phi-3.5-Instruct oko INT 4 -4. Kvantizacijom CPU INT4 modela možemo ga implementirati na Edge uređaje, što pruža bolje primjene, stoga smo dovršili Phi-3.5-Instruct u INT4 formatu ## **Resursi** -1. Saznajte više o Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Saznajte više o Generative AI ekstenzijama za onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI ekstenzije za onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub repozitorij [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Odricanje od odgovornosti**: -Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako težimo točnosti, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za kritične informacije preporučuje se profesionalni ljudski prijevod. Ne snosimo odgovornost za bilo kakve nesporazume ili pogrešna tumačenja koja proizlaze iz korištenja ovog prijevoda. \ No newline at end of file + +**Napomena**: +Ovaj dokument je preveden korištenjem AI prevoditeljskog servisa [Co-op Translator](https://github.com/Azure/co-op-translator). Iako težimo točnosti, imajte na umu da automatski prijevodi mogu sadržavati greške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za važne informacije preporuča se profesionalni ljudski prijevod. Nismo odgovorni za bilo kakva nesporazumevanja ili pogrešne interpretacije koje proizlaze iz korištenja ovog prijevoda. + \ No newline at end of file diff --git a/translations/hr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/hr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 63c74ceb5..1b478052e 100644 --- a/translations/hr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/hr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Smjernice za OnnxRuntime GenAI Windows GPU** -Ove smjernice pružaju korake za postavljanje i korištenje ONNX Runtime (ORT) s GPU-ima na Windowsu. Namijenjene su da vam pomognu iskoristiti GPU ubrzanje za vaše modele, poboljšavajući performanse i učinkovitost. +Ove smjernice daju korake za postavljanje i korištenje ONNX Runtime (ORT) s GPU-ovima na Windowsu. Namijenjene su da vam pomognu iskoristiti ubrzanje putem GPU-a za vaše modele, poboljšavajući performanse i učinkovitost. -Dokument sadrži upute o: +Dokument pruža upute o: -- Postavljanju okoline: Upute za instalaciju potrebnih ovisnosti poput CUDA, cuDNN i ONNX Runtime. -- Konfiguraciji: Kako konfigurirati okolinu i ONNX Runtime za učinkovito korištenje GPU resursa. -- Savjetima za optimizaciju: Preporuke za podešavanje GPU postavki radi optimalnih performansi. +- Postavljanje okoline: Upute za instalaciju potrebnih ovisnosti poput CUDA, cuDNN i ONNX Runtime. +- Konfiguracija: Kako konfigurirati okolinu i ONNX Runtime za učinkovito korištenje GPU resursa. +- Savjeti za optimizaciju: Preporuke kako fino podesiti GPU postavke za optimalne performanse. ### **1. Python 3.10.x /3.11.8** - ***Note*** Preporučujemo korištenje [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kao vašeg Python okruženja + ***Napomena*** Preporučuje se korištenje [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kao vašeg Python okruženja ```bash @@ -20,9 +20,10 @@ Dokument sadrži upute o: ``` - ***Reminder*** Ako imate instaliranu bilo koju Python ONNX biblioteku, molimo deinstalirajte je + ***Podsjetnik*** Ako ste instalirali bilo koju ONNX Python biblioteku, molimo deinstalirajte je + +### **2. Instalirajte CMake putem winget** -### **2. Instalirajte CMake pomoću winget** ```bash @@ -32,32 +33,35 @@ Dokument sadrži upute o: ### **3. Instalirajte Visual Studio 2022 - Desktop Development with C++** - ***Note*** Ako ne želite kompajlirati, ovaj korak možete preskočiti + ***Napomena*** Ako ne želite kompajlirati, možete preskočiti ovaj korak ![CPP](../../../../../../translated_images/hr/01.42f52a2b2aedff02.webp) -### **4. Instalirajte NVIDIA upravljački program** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. Instalirajte NVIDIA drajver** + +1. **NVIDIA GPU drajver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Molimo koristite zadane postavke tijekom instalacije +***Podsjetnik*** Molimo koristite zadane postavke tijekom instalacijskog procesa -### **5. Postavite NVIDIA okruženje** +### **5. Postavite NVIDIA okolinu** Kopirajte NVIDIA CUDNN 9.4 lib, bin, include u NVIDIA CUDA 12.4 lib, bin, include -- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* u *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- kopirajte *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* datoteke u *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* u *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- kopirajte *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* datoteke u *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- kopirajte *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* datoteke u *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* u *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Preuzmite Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ Kopirajte NVIDIA CUDNN 9.4 lib, bin, include u NVIDIA CUDA 12.4 lib, bin, includ ``` -### **7. Pokrenite InferencePhi35Instruct.ipynb** +### **7. Pokretanje InferencePhi35Instruct.ipynb** + + Otvorite [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) i izvršite - Otvorite [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) i izvršite ga ![RESULT](../../../../../../translated_images/hr/02.b9b06996cf7255d5.webp) -### **8. Kompajlirajte ORT GenAI GPU** - ***Note*** +### **8. Kompajliranje ORT GenAI GPU** + + + ***Napomena*** - 1. Prvo deinstalirajte sve vezano uz onnx, onnxruntime i onnxruntime-genai + 1. Prvo deinstalirajte sve što se odnosi na onnx, onnxruntime i onnxruntime-genai + ```bash pip list ``` - Zatim deinstalirajte sve onnxruntime biblioteke, npr. + Zatim deinstalirajte sve onnxruntime biblioteke, tj. + ```bash @@ -100,13 +109,17 @@ Kopirajte NVIDIA CUDNN 9.4 lib, bin, include u NVIDIA CUDA 12.4 lib, bin, includ ``` - 2. Provjerite podršku Visual Studio ekstenzije + 2. Provjerite podršku Visual Studio ekstenzija - Provjerite u C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras postoji li mapa C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Provjerite C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras da biste osigurali da postoji C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Ako nije pronađena, provjerite druge mape Cuda toolkit drivera i kopirajte mapu visual_studio_integration i njen sadržaj u C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Ako nije pronađeno, provjerite druge CUDA toolkit mape drajvera i kopirajte mapu visual_studio_integration i njen sadržaj u C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Ako ne želite kompajlirati, možete preskočiti ovaj korak - - Ako ne želite kompajlirati, ovaj korak možete preskočiti ```bash @@ -116,14 +129,15 @@ Kopirajte NVIDIA CUDNN 9.4 lib, bin, include u NVIDIA CUDA 12.4 lib, bin, includ - Preuzmite [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Raspakirajte onnxruntime-win-x64-gpu-1.19.2.zip, preimenujte mapu u **ort** i kopirajte je u onnxruntime-genai + - Raspakirajte onnxruntime-win-x64-gpu-1.19.2.zip, preimenujte ga u **ort**, kopirajte ort mapu u onnxruntime-genai - Koristeći Windows Terminal, otvorite Developer Command Prompt za VS 2022 i idite u onnxruntime-genai ![RESULT](../../../../../../translated_images/hr/03.b83ce473d5ff9b9b.webp) - - Kompajlirajte koristeći vaše Python okruženje + - Kompajlirajte ga s vašim python okruženjem + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopirajte NVIDIA CUDNN 9.4 lib, bin, include u NVIDIA CUDA 12.4 lib, bin, includ ``` -**Odricanje od odgovornosti**: -Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako težimo točnosti, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za kritične informacije preporučuje se profesionalni ljudski prijevod. Ne snosimo odgovornost za bilo kakva nesporazume ili pogrešna tumačenja koja proizlaze iz korištenja ovog prijevoda. \ No newline at end of file +--- + + +**Napomena**: +Ovaj dokument je preveden korištenjem AI prevoditeljskog servisa [Co-op Translator](https://github.com/Azure/co-op-translator). Iako težimo točnosti, imajte na umu da automatski prijevodi mogu sadržavati greške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za važne informacije preporuča se profesionalni ljudski prijevod. Nismo odgovorni za bilo kakva nesporazumevanja ili pogrešne interpretacije koje proizlaze iz korištenja ovog prijevoda. + \ No newline at end of file diff --git a/translations/hr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/hr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index b0d50bb96..91daad04f 100644 --- a/translations/hr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/hr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,18 +1,18 @@ -# Korištenje Windows GPU-a za izradu Prompt flow rješenja s Phi-3.5-Instruct ONNX +# Korištenje Windows GPU za stvaranje Prompt flow rješenja s Phi-3.5-Instruct ONNX -Sljedeći dokument je primjer kako koristiti PromptFlow s ONNX-om (Open Neural Network Exchange) za razvoj AI aplikacija temeljenih na Phi-3 modelima. +Sljedeći dokument je primjer kako koristiti PromptFlow s ONNX (Open Neural Network Exchange) za razvoj AI aplikacija baziranih na Phi-3 modelima. -PromptFlow je skup razvojnih alata dizajniran za pojednostavljenje cjelokupnog razvojnog ciklusa AI aplikacija baziranih na LLM-u (Large Language Model), od ideje i prototipiranja do testiranja i evaluacije. +PromptFlow je skup razvojnih alata dizajniranih za pojednostavljenje cjelokupnog razvojnog ciklusa AI aplikacija baziranih na LLM (Large Language Model), od ideacije i izrade prototipa do testiranja i evaluacije. Integracijom PromptFlow-a s ONNX-om, developeri mogu: -- Optimizirati performanse modela: Iskoristiti ONNX za učinkovitu inferenciju i implementaciju modela. +- Optimizirati performanse modela: Iskoristiti ONNX za učinkovito izvođenje modela i implementaciju. - Pojednostaviti razvoj: Koristiti PromptFlow za upravljanje radnim procesom i automatizaciju ponavljajućih zadataka. - Poboljšati suradnju: Omogućiti bolju suradnju među članovima tima pružajući jedinstveno razvojno okruženje. -**Prompt flow** je skup razvojnih alata osmišljen za pojednostavljenje cjelokupnog razvojnog ciklusa AI aplikacija baziranih na LLM-u, od ideje, prototipiranja, testiranja, evaluacije do produkcijske implementacije i nadzora. Olakšava prompt inženjering i omogućuje izgradnju LLM aplikacija proizvodne kvalitete. +**Prompt flow** je skup razvojnih alata dizajniranih za pojednostavljenje cjelokupnog razvojnog ciklusa AI aplikacija baziranih na LLM, od ideacije, izrade prototipa, testiranja, evaluacije do proizvodne implementacije i praćenja. Omogućuje znatno jednostavniji prompt inženjering i omogućuje izgradnju LLM aplikacija produkcijske kvalitete. -Prompt flow može se povezati s OpenAI, Azure OpenAI Service i prilagodljivim modelima (Huggingface, lokalni LLM/SLM). Cilj nam je implementirati kvantizirani ONNX model Phi-3.5 u lokalne aplikacije. Prompt flow nam može pomoći bolje planirati poslovanje i dovršiti lokalna rješenja temeljena na Phi-3.5. U ovom primjeru kombinirat ćemo ONNX Runtime GenAI Library za dovršetak Prompt flow rješenja baziranog na Windows GPU-u. +Prompt flow se može spojiti na OpenAI, Azure OpenAI Service i prilagodljive modele (Huggingface, lokalni LLM/SLM). Nadamo se implementirati kvantizirani ONNX model Phi-3.5 u lokalne aplikacije. Prompt flow nam može pomoći bolje planirati posao i dovršiti lokalna rješenja temeljena na Phi-3.5. U ovom primjeru, kombinirat ćemo ONNX Runtime GenAI knjižnicu za dovršetak Prompt flow rješenja baziranog na Windows GPU. ## **Instalacija** @@ -22,37 +22,37 @@ Pročitajte ovaj vodič za postavljanje ONNX Runtime GenAI za Windows GPU [klikn ### **Postavljanje Prompt flow u VSCode** -1. Instalirajte Prompt flow VS Code ekstenziju +1. Instalirajte Prompt flow VS Code proširenje ![pfvscode](../../../../../../translated_images/hr/pfvscode.eff93dfc66a42cbe.webp) -2. Nakon instalacije Prompt flow VS Code ekstenzije, kliknite na ekstenziju i odaberite **Installation dependencies** te slijedite ovaj vodič za instalaciju Prompt flow SDK-a u vašem okruženju +2. Nakon instalacije Prompt flow VS Code proširenja, kliknite na proširenje i odaberite **Installation dependencies** te slijedite ovaj vodič za instalaciju Prompt flow SDK u vaše okruženje ![pfsetup](../../../../../../translated_images/hr/pfsetup.b46e93096f5a254f.webp) -3. Preuzmite [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) i otvorite ovaj primjer u VS Code-u +3. Preuzmite [Primjer koda](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) i otvorite ovaj primjer u VS Code ![pfsample](../../../../../../translated_images/hr/pfsample.8d89e70584ffe7c4.webp) -4. Otvorite **flow.dag.yaml** i odaberite svoje Python okruženje +4. Otvorite **flow.dag.yaml** da odaberete svoje Python okruženje ![pfdag](../../../../../../translated_images/hr/pfdag.264a77f7366458ff.webp) - Otvorite **chat_phi3_ort.py** i promijenite lokaciju Phi-3.5-instruct ONNX modela + Otvorite **chat_phi3_ort.py** kako biste promijenili lokaciju svog Phi-3.5-instruct ONNX modela ![pfphi](../../../../../../translated_images/hr/pfphi.72da81d74244b45f.webp) 5. Pokrenite svoj prompt flow za testiranje -Otvorite **flow.dag.yaml** i kliknite na visual editor +Otvorite **flow.dag.yaml** kliknite na vizualni editor ![pfv](../../../../../../translated_images/hr/pfv.ba8a81f34b20f603.webp) -nakon klika, pokrenite ga za testiranje +nakon klika, pokrenite za testiranje ![pfflow](../../../../../../translated_images/hr/pfflow.4e1135a089b1ce1b.webp) -1. Možete pokrenuti batch u terminalu za pregled dodatnih rezultata +1. Možete pokretati batch u terminalu za provjeru dodatnih rezultata ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Rezultate možete provjeriti u svom zadanim pregledniku +Rezultate možete provjeriti u zadanim pregledniku ![pfresult](../../../../../../translated_images/hr/pfresult.c22c826f8062d7cb.webp) -**Odricanje od odgovornosti**: -Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo postići točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za kritične informacije preporučuje se profesionalni ljudski prijevod. Ne snosimo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja proizlaze iz korištenja ovog prijevoda. \ No newline at end of file +--- + + +**Napomena**: +Ovaj dokument je preveden korištenjem AI prevoditeljskog servisa [Co-op Translator](https://github.com/Azure/co-op-translator). Iako težimo točnosti, imajte na umu da automatski prijevodi mogu sadržavati greške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za važne informacije preporuča se profesionalni ljudski prijevod. Nismo odgovorni za bilo kakva nesporazumevanja ili pogrešne interpretacije koje proizlaze iz korištenja ovog prijevoda. + \ No newline at end of file diff --git a/translations/hu/.co-op-translator.json b/translations/hu/.co-op-translator.json index c60a3444a..4cfc0d89a 100644 --- a/translations/hu/.co-op-translator.json +++ b/translations/hu/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:24:58+00:00", + "translation_date": "2026-07-29T16:54:34+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "hu" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:46:26+00:00", + "translation_date": "2026-07-29T16:55:34+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "hu" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:03:02+00:00", + "translation_date": "2026-07-29T16:54:50+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "hu" }, diff --git a/translations/hu/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/hu/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 2e370f68d..f387e44d2 100644 --- a/translations/hu/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/hu/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Hogyan használjuk a Model Builder-t a Phi-3.5 kvantálásához** +# **Phi család kvantálása a generatív AI bővítményekkel az onnxruntime-hoz** -A Model Builder most támogatja az ONNX modell kvantálását a Phi-3.5 Instruct és Phi-3.5-Vision modellekhez. +## **Mi az a generatív AI bővítmény az onnxruntime-hoz** + +Ezek a bővítmények segítenek generatív AI futtatásában az ONNX Runtime-tal ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Biztosítják a generatív AI ciklust ONNX modellekhez, beleértve az ONNX Runtime inferenciát, a logit feldolgozást, keresést és mintavételezést, valamint a KV cache kezelését. A fejlesztők hívhatják a magas szintű generate() metódust, vagy minden iterációt külön is futtathatnak, egy token generálásával egyszerre, és opcionálisan frissíthetik a generálási paramétereket a cikluson belül. Támogatja a greedy/beam keresést és a TopP, TopK mintavételezést token sorozatok generálásához, valamint beépített logit feldolgozást, mint az ismétlési büntetések. Egyedi pontozás is könnyen hozzáadható. + +Alkalmazási szinten C++/C#/Python nyelven építhetsz alkalmazásokat a generatív AI bővítmények segítségével az onnxruntime-hoz. Modell szinten finomhangolt modellek összevonására és kapcsolódó kvantitatív telepítési munkák elvégzésére használható. + + +## **Phi-3.5 kvantálása a generatív AI bővítményekkel az onnxruntime-hoz** + +### **Támogatott modellek** + +A generatív AI bővítmények támogatják a Microsoft Phi, Google Gemma, Mistral, Meta LLaMA modellek kvantálási átalakítását. + + +### **Model Builder a generatív AI bővítményekben az onnxruntime-hoz** + +A Model Builder nagyban felgyorsítja az optimalizált és kvantált ONNX modellek létrehozását, melyek az ONNX Runtime generate() API-val futnak. + +A Model Builder segítségével a modellt INT4, INT8, FP16, FP32 formátumba kvantálhatod, és kombinálhatod különféle hardveres gyorsítási módszerekkel, például CPU, CUDA, DirectML, Mobile stb. + +A Model Builder használatához telepítened kell + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Telepítés után a terminálból futtathatod a Model Builder szkriptet a modell formátumának és kvantálásának konvertálásához. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Az érintett paraméterek megértése + +1. **model_name** Ez a modell Hugging Face-en, például microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct stb. Lehet a modell elérési útja is. + +2. **path_to_output_folder** Kvantált konverzió mentési útvonala + +3. **execution_provider** Különböző hardveres gyorsítás támogatása, mint cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** A modellt a Hugging Face-ről töltjük le és helyileg cache-eljük + + + + +***Megjegyzés:*** + +## **Hogyan használd a Model Buildert a Phi-3.5 kvantálásához** + +A Model Builder jelenleg támogatja az ONNX modell kvantálását Phi-3.5 Instruct és Phi-3.5-Vision modellekhez ### **Phi-3.5-Instruct** -**CPU gyorsított kvantált INT4 konverzió** + +**CPU gyorsított kvantált INT 4 konverzió** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA gyorsított kvantált INT4 konverzió** +**CUDA gyorsított kvantált INT 4 konverzió** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Állítsd be a környezetet a terminálban +1. Környezet beállítása a terminálban ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Töltsd le a microsoft/Phi-3.5-vision-instruct modellt a models mappába +2. Töltsd le a microsoft/Phi-3.5-vision-instruct modellt a models mappába [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Kérlek, töltsd le ezeket a fájlokat a Phi-3.5-vision-instruct mappádba +3. Kérjük, töltsd le ezeket a fájlokat a Phi-3.5-vision-instruct mappádba - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Töltsd le ezt a fájlt a models mappába + +4. Töltsd le ezt a fájlt a models mappába [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Menj a terminálba - Konvertáld az ONNX támogatást FP32-re + ONNX támogatás FP32-vel konvertálva + ```bash @@ -64,15 +127,17 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Megjegyzés:** -1. A Model Builder jelenleg támogatja a Phi-3.5-Instruct és Phi-3.5-Vision konverzióját, de nem támogatja a Phi-3.5-MoE-t +1. A Model Builder jelenleg támogatja a Phi-3.5-Instruct és Phi-3.5-Vision átalakítását, de nem a Phi-3.5-MoE-t 2. Az ONNX kvantált modellt a Generative AI extensions for onnxruntime SDK-n keresztül használhatod -3. Felelősebb AI megközelítés érdekében a modell kvantálás utáni átalakítás után ajánlott alaposabb eredménytesztelést végezni +3. Felelős AI-t is figyelembe kell vennünk, ezért a modell kvantálási átalakítása után javasolt hatékonyabb eredményteszteket végezni + +4. A CPU INT4 modell kvantálásával elérhető az Edge Deviceokra történő telepítés, amely jobb alkalmazási forgatókönyveket kínál, így a Phi-3.5-Instruct INT4 körüli kvantálása befejeződött -4. A CPU INT4 modell kvantálásával az Edge eszközökre is telepíthető, ami jobb alkalmazási lehetőségeket kínál, így a Phi-3.5-Instruct INT4 körüli kvantálása elkészült ## **Források** @@ -80,5 +145,9 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p 2. Generative AI extensions for onnxruntime GitHub tárhely [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -**Jogi nyilatkozat**: -Ez a dokumentum az AI fordító szolgáltatás, a [Co-op Translator](https://github.com/Azure/co-op-translator) segítségével készült. Bár a pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Fontos információk esetén szakmai, emberi fordítást javaslunk. Nem vállalunk felelősséget a fordítás használatából eredő félreértésekért vagy téves értelmezésekért. \ No newline at end of file +--- + + +**Jogi nyilatkozat**: +Ez a dokumentum az AI fordítási szolgáltatás, a [Co-op Translator](https://github.com/Azure/co-op-translator) segítségével készült. Bár az pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Fontos információk esetén professzionális emberi fordítást javasolunk. Nem vállalunk felelősséget semmilyen félreértésért vagy téves értelmezésért, amely ebből a fordításból ered. + \ No newline at end of file diff --git a/translations/hu/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/hu/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index e4e924ea0..9be9bde4b 100644 --- a/translations/hu/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/hu/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Útmutató az OnnxRuntime GenAI Windows GPU használatához** +# **Útmutató az OnnxRuntime GenAI Windows GPU-hoz** -Ez az útmutató lépéseket tartalmaz az ONNX Runtime (ORT) GPU-val történő használatának beállításához Windows rendszeren. Célja, hogy segítsen kihasználni a GPU gyorsítását a modellekhez, javítva a teljesítményt és a hatékonyságot. +Ez az útmutató lépéseket tartalmaz az ONNX Runtime (ORT) GPU-kon Windows rendszeren történő beállításához és használatához. Azért készült, hogy segítsen a modellek GPU-gyorsításának kihasználásában, javítva ezzel a teljesítményt és a hatékonyságot. -A dokumentum az alábbiakról nyújt tájékoztatást: +A dokumentum útmutatást nyújt a következőkről: -- Környezet beállítása: Útmutató a szükséges függőségek, például CUDA, cuDNN és ONNX Runtime telepítéséhez. -- Konfiguráció: Hogyan állítsuk be a környezetet és az ONNX Runtime-ot a GPU erőforrások hatékony kihasználásához. -- Optimalizálási tippek: Tanácsok a GPU beállítások finomhangolásához a legjobb teljesítmény érdekében. +- Környezet beállítása: Az olyan szükséges függőségek telepítésére vonatkozó utasítások, mint a CUDA, cuDNN és az ONNX Runtime. +- Konfiguráció: Hogyan konfiguráld a környezetet és az ONNX Runtime-ot a GPU erőforrások hatékony kihasználására. +- Optimalizálási tippek: Tanácsok arra, hogyan hangold finomra a GPU beállításaidat a lehető legjobb teljesítmény érdekében. ### **1. Python 3.10.x /3.11.8** - ***Megjegyzés*** Javasolt a [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) használata Python környezetként + ***Megjegyzés*** Javasolt a [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) használata a Python környezetedhez ```bash @@ -20,9 +20,10 @@ A dokumentum az alábbiakról nyújt tájékoztatást: ``` - ***Emlékeztető*** Ha telepítettél bármilyen python ONNX könyvtárat, kérlek távolítsd el + ***Emlékeztető*** Ha telepítettél bármilyen Python ONNX könyvtárat, kérlek távolítsd el azokat + +### **2. CMake telepítése winget-pel** -### **2. CMake telepítése winget segítségével** ```bash @@ -30,13 +31,14 @@ A dokumentum az alábbiakról nyújt tájékoztatást: ``` -### **3. Visual Studio 2022 telepítése - Desktop Development with C++** +### **3. Visual Studio 2022 telepítése - Asztali fejlesztés C++-val** - ***Megjegyzés*** Ha nem szeretnél fordítani, ezt a lépést kihagyhatod + ***Megjegyzés*** Ha nem szeretnéd fordítani, ezt a lépést kihagyhatod ![CPP](../../../../../../translated_images/hu/01.42f52a2b2aedff02.webp) -### **4. NVIDIA Driver telepítése** + +### **4. NVIDIA driver telepítése** 1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ A dokumentum az alábbiakról nyújt tájékoztatást: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Emlékeztető*** Kérlek, az alapértelmezett beállításokat használd a telepítés során +***Emlékeztető*** Kérlek az alapértelmezett beállításokat használd a telepítés során ### **5. NVIDIA környezet beállítása** -Másold át az NVIDIA CUDNN 9.4 lib, bin, include fájlokat az NVIDIA CUDA 12.4 lib, bin, include mappákba +Másold az NVIDIA CUDNN 9.4 lib, bin, include fájlokat az NVIDIA CUDA 12.4 lib, bin, include könyvtárakba -- Másold a *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* fájlokat a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* mappába +- másold a *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* fájlokat a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* könyvtárba -- Másold a *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* fájlokat a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* mappába +- másold a *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* fájlokat a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* könyvtárba + +- másold a *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* fájlokat a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* könyvtárba -- Másold a *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* fájlokat a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* mappába ### **6. Phi-3.5-mini-instruct-onnx letöltése** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Másold át az NVIDIA CUDNN 9.4 lib, bin, include fájlokat az NVIDIA CUDA 12.4 ### **7. InferencePhi35Instruct.ipynb futtatása** - Nyisd meg a [Notebookot](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) és futtasd + Nyisd meg a [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) fájlt és futtasd le + ![RESULT](../../../../../../translated_images/hu/02.b9b06996cf7255d5.webp) + ### **8. ORT GenAI GPU fordítása** + ***Megjegyzés*** - 1. Először távolíts el minden onnx, onnxruntime és onnxruntime-genai csomagot + 1. Kérlek először távolíts el minden onnx, onnxruntime és onnxruntime-genai csomagot + ```bash pip list ``` - Ezután távolíts el minden onnxruntime könyvtárat, például + Ezután távolíts el minden onnxruntime könyvtárat, azaz + ```bash @@ -100,14 +109,18 @@ Másold át az NVIDIA CUDNN 9.4 lib, bin, include fájlokat az NVIDIA CUDA 12.4 ``` - 2. Ellenőrizd a Visual Studio kiterjesztés támogatását + 2. Ellenőrizd a Visual Studio kiterjesztések támogatását + + Ellenőrizd, hogy a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras mappában megtalálható-e a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + + Ha nincs meg, keresd meg más CUDA toolkit driver mappákban, majd másold át a visual_studio_integration mappát és tartalmát a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration helyre + - Nézd meg a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras mappát, hogy megtalálható-e a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration mappa. - Ha nem találod, keresd meg más CUDA toolkit driver mappákban, majd másold át a visual_studio_integration mappát és tartalmát a C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration helyre - Ha nem szeretnél fordítani, ezt a lépést kihagyhatod + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Másold át az NVIDIA CUDNN 9.4 lib, bin, include fájlokat az NVIDIA CUDA 12.4 - Töltsd le a [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) fájlt - - Csomagold ki az onnxruntime-win-x64-gpu-1.19.2.zip fájlt, nevezd át **ort**-ra, majd másold az ort mappát az onnxruntime-genai könyvtárba + - Csomagold ki az onnxruntime-win-x64-gpu-1.19.2.zip-et, nevezd át **ort**-ra, és másold az ort mappát az onnxruntime-genai könyvtárba - - Windows Terminalban nyisd meg a Developer Command Prompt for VS 2022-t, majd lépj be az onnxruntime-genai mappába + - Windows Terminal segítségével menj át a VS 2022 fejlesztői parancssorába, majd nyisd meg az onnxruntime-genai könyvtárat ![RESULT](../../../../../../translated_images/hu/03.b83ce473d5ff9b9b.webp) - - Fordítsd le a projektet a python környezeteddel + - Fordítsd le a projektet a Python környezeteddel + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Másold át az NVIDIA CUDNN 9.4 lib, bin, include fájlokat az NVIDIA CUDA 12.4 ``` -**Jogi nyilatkozat**: -Ez a dokumentum az AI fordító szolgáltatás, a [Co-op Translator](https://github.com/Azure/co-op-translator) segítségével készült. Bár a pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Kritikus információk esetén professzionális emberi fordítást javaslunk. Nem vállalunk felelősséget a fordítás használatából eredő félreértésekért vagy téves értelmezésekért. \ No newline at end of file +--- + + +**Jogi nyilatkozat**: +Ez a dokumentum az AI fordítási szolgáltatás, a [Co-op Translator](https://github.com/Azure/co-op-translator) segítségével készült. Bár az pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Fontos információk esetén professzionális emberi fordítást javasolunk. Nem vállalunk felelősséget semmilyen félreértésért vagy téves értelmezésért, amely ebből a fordításból ered. + \ No newline at end of file diff --git a/translations/hu/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/hu/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index eed24b142..418c8d540 100644 --- a/translations/hu/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/hu/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# Windows GPU használata Prompt flow megoldás létrehozásához Phi-3.5-Instruct ONNX-szel +# Windows GPU használata Prompt flow megoldás létrehozásához Phi-3.5-Instruct ONNX-szel -A következő dokumentum egy példa arra, hogyan használhatjuk a PromptFlow-t ONNX (Open Neural Network Exchange) segítségével Phi-3 modelleken alapuló AI alkalmazások fejlesztéséhez. +A következő dokumentum példát mutat arra, hogyan lehet a PromptFlow-t ONNX (Open Neural Network Exchange) segítségével használni Phi-3 modellek alapján fejlesztett AI alkalmazások fejlesztéséhez. -A PromptFlow egy fejlesztői eszközkészlet, amely az LLM-alapú (Nagy Nyelvi Modell) AI alkalmazások teljes fejlesztési ciklusát egyszerűsíti, az ötleteléstől és prototípus-készítéstől kezdve a tesztelésen és értékelésen át. +A PromptFlow egy fejlesztőeszköz suite, amely az LLM-alapú (Nagy Nyelvi Modell) AI alkalmazások teljes fejlesztési ciklusát egyszerűsíti, az ötleteléstől és prototípus-készítéstől kezdve a tesztelésen és értékelésen át. -A PromptFlow és az ONNX integrálásával a fejlesztők képesek: +A PromptFlow ONNX-szel való integrálásával a fejlesztők képesek: -- Modell teljesítményének optimalizálása: Használja az ONNX-et a hatékony modell-inferenciához és telepítéshez. -- Fejlesztés egyszerűsítése: A PromptFlow segítségével kezelheti a munkafolyamatot és automatizálhatja az ismétlődő feladatokat. -- Együttműködés javítása: Egységes fejlesztői környezet biztosításával elősegíti a csapattagok közötti jobb együttműködést. +- A modell teljesítményének optimalizálása: Hatékony modelligénybevétel és üzembe helyezés ONNX segítségével. +- Fejlesztés egyszerűsítése: Használd a PromptFlow-t a munkafolyamat kezelésére és ismétlődő feladatok automatizálására. +- Együttműködés javítása: Egységes fejlesztési környezet biztosításával támogatja a csapattagok közti jobb együttműködést. -**A Prompt flow** egy fejlesztői eszközkészlet, amely az LLM-alapú AI alkalmazások teljes fejlesztési ciklusát egyszerűsíti, az ötleteléstől, prototípus-készítéstől, tesztelésen, értékelésen át egészen a termelési telepítésig és monitorozásig. Megkönnyíti a prompt tervezést, és lehetővé teszi, hogy termelési minőségű LLM alkalmazásokat építsen. +**Prompt flow** egy fejlesztőeszköz suite, amely az LLM-alapú AI alkalmazások teljes fejlesztési ciklusát egyszerűsíti, az ötleteléstől, prototípus-készítéstől, teszteléstől és értékeléstől a produkciós üzembe helyezésig és monitorozásig. Nagyon megkönnyíti a prompt tervezést, és lehetővé teszi LLM alkalmazások építését produkciós minőségben. -A Prompt flow képes kapcsolódni az OpenAI-hoz, az Azure OpenAI szolgáltatáshoz, valamint testreszabható modellekhez (Huggingface, helyi LLM/SLM). Célunk, hogy a Phi-3.5 kvantált ONNX modelljét helyi alkalmazásokba telepítsük. A Prompt flow segíthet jobban megtervezni az üzletet, és helyi megoldásokat létrehozni Phi-3.5 alapján. Ebben a példában az ONNX Runtime GenAI könyvtárat kombináljuk, hogy Windows GPU alapú Prompt flow megoldást valósítsunk meg. +A Prompt flow kapcsolódhat OpenAI-hoz, Azure OpenAI Szolgáltatáshoz, és testreszabható modellekhez (Huggingface, helyi LLM/SLM). A terveink szerint a Phi-3.5 kvantált ONNX modelljét helyi alkalmazásokba szeretnénk telepíteni. A Prompt flow segíthet jobban tervezni az üzletet és teljes helyi megoldásokat létrehozni Phi-3.5 alapján. Ebben a példában az ONNX Runtime GenAI könyvtárat egyesítjük a Prompt flow megoldás befejezéséhez Windows GPU alapokon. ## **Telepítés** ### **ONNX Runtime GenAI Windows GPU-hoz** -Olvassa el ezt az útmutatót az ONNX Runtime GenAI Windows GPU-hoz történő beállításához [ide kattintva](./ORTWindowGPUGuideline.md) +Olvasd el ezt az iránymutatást az ONNX Runtime GenAI Windows GPU-ra való beállításához [kattints ide](./ORTWindowGPUGuideline.md) ### **Prompt flow beállítása VSCode-ban** -1. Telepítse a Prompt flow VS Code bővítményt +1. Telepítsd a Prompt flow VS Code kiterjesztést ![pfvscode](../../../../../../translated_images/hu/pfvscode.eff93dfc66a42cbe.webp) -2. A Prompt flow VS Code bővítmény telepítése után kattintson a bővítményre, majd válassza az **Installation dependencies** lehetőséget, és kövesse az útmutatót a Prompt flow SDK környezetbe történő telepítéséhez +2. A Prompt flow VS Code kiterjesztés telepítése után kattints a kiterjesztésre, és válaszd az **Installation dependencies** pontot, majd kövesd az iránymutatást a Prompt flow SDK telepítéséhez a környezetedben ![pfsetup](../../../../../../translated_images/hu/pfsetup.b46e93096f5a254f.webp) -3. Töltse le a [példakódot](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) és nyissa meg VS Code-ban ezt a mintát +3. Töltsd le a [Mintakódot](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) és nyisd meg VS Code-dal ezt a mintát ![pfsample](../../../../../../translated_images/hu/pfsample.8d89e70584ffe7c4.webp) -4. Nyissa meg a **flow.dag.yaml** fájlt, és válassza ki a Python környezetét +4. Nyisd meg a **flow.dag.yaml** fájlt, és válaszd ki a Python környezetedet ![pfdag](../../../../../../translated_images/hu/pfdag.264a77f7366458ff.webp) - Nyissa meg a **chat_phi3_ort.py** fájlt, és módosítsa a Phi-3.5-instruct ONNX modell helyét + Nyisd meg a **chat_phi3_ort.py** fájlt a Phi-3.5-instruct ONNX modell helyének megváltoztatásához ![pfphi](../../../../../../translated_images/hu/pfphi.72da81d74244b45f.webp) -5. Futtassa a prompt flow-t teszteléshez +5. Futtasd a prompt flow-dat tesztelésre -Nyissa meg a **flow.dag.yaml** fájlt, és kattintson a vizuális szerkesztőre +Nyisd meg a **flow.dag.yaml**-t, és kattints a vizuális szerkesztőre ![pfv](../../../../../../translated_images/hu/pfv.ba8a81f34b20f603.webp) -Kattintás után futtassa a tesztelést +Ezt követően kattints rá és futtasd a teszthez ![pfflow](../../../../../../translated_images/hu/pfflow.4e1135a089b1ce1b.webp) -1. Terminálban is futtathat batch-et a további eredmények ellenőrzéséhez +1. Parancssorban is futtathatsz batch-et a további eredmények ellenőrzéséhez ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Az eredményeket az alapértelmezett böngészőben tekintheti meg +Az eredményeket megtekintheted az alapértelmezett böngésződben ![pfresult](../../../../../../translated_images/hu/pfresult.c22c826f8062d7cb.webp) -**Jogi nyilatkozat**: -Ez a dokumentum az AI fordító szolgáltatás, a [Co-op Translator](https://github.com/Azure/co-op-translator) segítségével készült. Bár a pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Fontos információk esetén szakmai, emberi fordítást javaslunk. Nem vállalunk felelősséget az ebből a fordításból eredő félreértésekért vagy téves értelmezésekért. \ No newline at end of file +--- + + +**Jogi nyilatkozat**: +Ez a dokumentum az AI fordítási szolgáltatás, a [Co-op Translator](https://github.com/Azure/co-op-translator) segítségével készült. Bár az pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Fontos információk esetén professzionális emberi fordítást javasolunk. Nem vállalunk felelősséget semmilyen félreértésért vagy téves értelmezésért, amely ebből a fordításból ered. + \ No newline at end of file diff --git a/translations/id/.co-op-translator.json b/translations/id/.co-op-translator.json index d116c0551..2ca559ded 100644 --- a/translations/id/.co-op-translator.json +++ b/translations/id/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:23:41+00:00", + "translation_date": "2026-07-29T17:06:13+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "id" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:45:31+00:00", + "translation_date": "2026-07-29T17:06:47+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "id" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:02:15+00:00", + "translation_date": "2026-07-29T17:06:27+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "id" }, diff --git a/translations/id/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/id/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index ce8f92025..a26c8e7e2 100644 --- a/translations/id/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/id/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Cara menggunakan Model Builder untuk mengkuantisasi Phi-3.5** +# **Mengkuantisasi Keluarga Phi menggunakan ekstensi AI Generatif untuk onnxruntime** -Model Builder sekarang mendukung kuantisasi model ONNX untuk Phi-3.5 Instruct dan Phi-3.5-Vision +## **Apa itu ekstensi AI Generatif untuk onnxruntime** + +Ekstensi ini membantu Anda menjalankan AI generatif dengan ONNX Runtime( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Ini menyediakan loop AI generatif untuk model ONNX, termasuk inferensi dengan ONNX Runtime, pemrosesan logit, pencarian dan pengambilan sampel, serta manajemen cache KV. Pengembang dapat memanggil metode tingkat tinggi generate(), atau menjalankan setiap iterasi model dalam sebuah loop, menghasilkan satu token pada satu waktu, dan secara opsional memperbarui parameter generasi di dalam loop. Ini mendukung pencarian greedy/beam dan pengambilan sampel TopP, TopK untuk menghasilkan urutan token dan pemrosesan logit bawaan seperti penalti pengulangan. Anda juga dapat dengan mudah menambahkan penilaian khusus. + +Pada tingkat aplikasi, Anda dapat menggunakan ekstensi AI Generatif untuk onnxruntime untuk membangun aplikasi menggunakan C++/ C# / Python. Pada tingkat model, Anda dapat menggunakannya untuk menggabungkan model yang telah di-tune ulang dan melakukan pekerjaan penyebaran kuantitatif terkait. + + +## **Mengkuantisasi Phi-3.5 dengan ekstensi AI Generatif untuk onnxruntime** + +### **Model yang Didukung** + +Ekstensi AI Generatif untuk onnxruntime mendukung konversi kuantisasi Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Pembuat Model di ekstensi AI Generatif untuk onnxruntime** + +Pembuat model sangat mempercepat pembuatan model ONNX yang dioptimalkan dan dikuantisasi yang berjalan dengan API generate() ONNX Runtime. + +Melalui Pembuat Model, Anda dapat mengkuantisasi model ke INT4, INT8, FP16, FP32, dan menggabungkan berbagai metode akselerasi perangkat keras seperti CPU, CUDA, DirectML, Mobile, dll. + +Untuk menggunakan Pembuat Model, Anda perlu menginstal + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Setelah instalasi, Anda dapat menjalankan skrip Pembuat Model dari terminal untuk melakukan konversi format dan kuantisasi model. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Pahami parameter yang relevan + +1. **model_name** Ini adalah model di Hugging face, seperti microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, dll. Ini juga bisa berupa path tempat Anda menyimpan model + +2. **path_to_output_folder** Path penyimpanan konversi kuantisasi + +3. **execution_provider** Dukungan akselerasi perangkat keras berbeda, seperti cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Kami mengunduh model dari Hugging face dan menyimpannya secara lokal + + + + +***Catatan：*** + +## **Cara menggunakan Pembuat Model untuk mengkuantisasi Phi-3.5** + +Pembuat Model sekarang mendukung kuantisasi model ONNX untuk Phi-3.5 Instruct dan Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Konversi kuantisasi INT4 dengan akselerasi CPU** + +**Konversi yang dipercepat CPU dari kuantisasi INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Konversi kuantisasi INT4 dengan akselerasi CUDA** +**Konversi yang dipercepat CUDA dari kuantisasi INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Unduh microsoft/Phi-3.5-vision-instruct ke folder models +2. Unduh microsoft/Phi-3.5-vision-instruct di folder models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Silakan unduh file-file ini ke folder Phi-3.5-vision-instruct Anda +3. Harap unduh file-file ini ke folder Phi-3.5-vision-instruct Anda - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Unduh file ini ke folder models + +4. Unduh file ini ke folder models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Buka terminal Konversi dukungan ONNX dengan FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` + ### **Catatan：** -1. Model Builder saat ini mendukung konversi Phi-3.5-Instruct dan Phi-3.5-Vision, tetapi belum untuk Phi-3.5-MoE +1. Pembuat Model saat ini mendukung konversi Phi-3.5-Instruct dan Phi-3.5-Vision, tetapi tidak untuk Phi-3.5-MoE -2. Untuk menggunakan model kuantisasi ONNX, Anda dapat menggunakannya melalui SDK Generative AI extensions for onnxruntime +2. Untuk menggunakan model kuantisasi ONNX, Anda dapat menggunakannya melalui SDK ekstensi AI Generatif untuk onnxruntime -3. Kita perlu mempertimbangkan AI yang lebih bertanggung jawab, jadi setelah konversi kuantisasi model, disarankan melakukan pengujian hasil yang lebih efektif +3. Kita perlu mempertimbangkan AI yang lebih bertanggung jawab, jadi setelah konversi kuantisasi model, disarankan untuk melakukan pengujian hasil yang lebih efektif + +4. Dengan mengkuantisasi model CPU INT4, kita dapat menyebarkannya ke Perangkat Edge, yang memiliki skenario aplikasi yang lebih baik, jadi kami telah menyelesaikan Phi-3.5-Instruct di sekitar INT 4 -4. Dengan mengkuantisasi model CPU INT4, kita dapat menerapkannya ke Edge Device yang memiliki skenario aplikasi lebih baik, sehingga kami telah menyelesaikan Phi-3.5-Instruct di sekitar INT4 ## **Sumber Daya** -1. Pelajari lebih lanjut tentang Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Pelajari lebih lanjut tentang ekstensi AI Generatif untuk onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repositori GitHub ekstensi AI Generatif untuk onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repositori GitHub Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Penafian**: -Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk akurasi, harap diketahui bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sahih. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini. \ No newline at end of file + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk mencapai akurasi, harap diketahui bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sah. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini. + \ No newline at end of file diff --git a/translations/id/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/id/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 1029b9a37..dae1601c8 100644 --- a/translations/id/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/id/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Panduan untuk OnnxRuntime GenAI Windows GPU** -Panduan ini memberikan langkah-langkah untuk mengatur dan menggunakan ONNX Runtime (ORT) dengan GPU di Windows. Tujuannya adalah membantu Anda memanfaatkan akselerasi GPU untuk model Anda, sehingga meningkatkan performa dan efisiensi. +Panduan ini memberikan langkah-langkah untuk mengatur dan menggunakan ONNX Runtime (ORT) dengan GPU di Windows. Dirancang untuk membantu Anda memanfaatkan akselerasi GPU untuk model Anda, meningkatkan kinerja dan efisiensi. Dokumen ini memberikan panduan tentang: -- Pengaturan Lingkungan: Instruksi untuk menginstal dependensi yang diperlukan seperti CUDA, cuDNN, dan ONNX Runtime. -- Konfigurasi: Cara mengonfigurasi lingkungan dan ONNX Runtime agar dapat menggunakan sumber daya GPU secara efektif. -- Tips Optimasi: Saran untuk menyetel pengaturan GPU Anda agar mendapatkan performa terbaik. +- Pengaturan Lingkungan: Instruksi tentang cara menginstal dependensi yang diperlukan seperti CUDA, cuDNN, dan ONNX Runtime. +- Konfigurasi: Cara mengkonfigurasi lingkungan dan ONNX Runtime untuk memanfaatkan sumber daya GPU secara efektif. +- Tips Optimasi: Saran tentang cara menyetel pengaturan GPU Anda untuk kinerja optimal. ### **1. Python 3.10.x /3.11.8** - ***Note*** Disarankan menggunakan [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) sebagai lingkungan Python Anda + ***Catatan*** Disarankan menggunakan [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) sebagai lingkungan Python Anda ```bash @@ -20,22 +20,24 @@ Dokumen ini memberikan panduan tentang: ``` - ***Reminder*** Jika Anda sudah menginstal library ONNX untuk Python, harap uninstall terlebih dahulu + ***Pengingat*** Jika Anda telah menginstal perpustakaan python ONNX, silakan hapus instalasinya ### **2. Instal CMake dengan winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Instal Visual Studio 2022 - Desktop Development with C++** +### **3. Instal Visual Studio 2022 - Desktop Development dengan C++** - ***Note*** Jika Anda tidak ingin melakukan kompilasi, langkah ini bisa dilewati + ***Catatan*** Jika Anda tidak ingin melakukan kompilasi, Anda dapat melewati langkah ini ![CPP](../../../../../../translated_images/id/01.42f52a2b2aedff02.webp) + ### **4. Instal Driver NVIDIA** 1. **Driver GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ Dokumen ini memberikan panduan tentang: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Gunakan pengaturan default saat proses instalasi +***Pengingat*** Harap gunakan pengaturan default dalam proses instalasi ### **5. Atur Lingkungan NVIDIA** -Salin file lib, bin, include dari NVIDIA CUDNN 9.4 ke folder lib, bin, include NVIDIA CUDA 12.4 +Salin pustaka NVIDIA CUDNN 9.4 lib, bin, include ke NVIDIA CUDA 12.4 lib, bin, include -- salin file dari *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- salin file *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- salin file dari *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- salin file *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- salin file *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- salin file dari *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Unduh Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Salin file lib, bin, include dari NVIDIA CUDNN 9.4 ke folder lib, bin, include N ### **7. Menjalankan InferencePhi35Instruct.ipynb** - Buka [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) dan jalankan + Buka [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) dan jalankan + ![RESULT](../../../../../../translated_images/id/02.b9b06996cf7255d5.webp) + ### **8. Kompilasi ORT GenAI GPU** - ***Note*** + + ***Catatan*** - 1. Harap uninstall semua yang berhubungan dengan onnx, onnxruntime, dan onnxruntime-genai terlebih dahulu + 1. Harap hapus semua yang berkaitan dengan onnx, onnxruntime, dan onnxruntime-genai terlebih dahulu + ```bash pip list ``` - Kemudian uninstall semua library onnxruntime, misalnya + Kemudian hapus semua pustaka onnxruntime yaitu + ```bash @@ -102,11 +111,15 @@ Salin file lib, bin, include dari NVIDIA CUDNN 9.4 ke folder lib, bin, include N 2. Periksa dukungan Ekstensi Visual Studio - Cek folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras untuk memastikan folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ada. + Periksa C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras untuk memastikan bahwa C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ada. Jika tidak ditemukan, periksa folder driver toolkit CUDA lainnya dan salin folder visual_studio_integration beserta isinya ke C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration - - Jika Anda tidak ingin melakukan kompilasi, langkah ini bisa dilewati + + + + - Jika Anda tidak ingin melakukan kompilasi, Anda dapat melewati langkah ini + ```bash @@ -116,14 +129,15 @@ Salin file lib, bin, include dari NVIDIA CUDNN 9.4 ke folder lib, bin, include N - Unduh [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Ekstrak onnxruntime-win-x64-gpu-1.19.2.zip, lalu ganti nama folder hasil ekstrak menjadi **ort**, kemudian salin folder ort ke dalam onnxruntime-genai + - Ekstrak onnxruntime-win-x64-gpu-1.19.2.zip , dan ubah namanya menjadi **ort**, salin folder ort ke onnxruntime-genai - - Gunakan Windows Terminal, buka Developer Command Prompt for VS 2022 dan masuk ke folder onnxruntime-genai + - Menggunakan Windows Terminal, buka Developer Command Prompt for VS 2022 dan navigasi ke onnxruntime-genai ![RESULT](../../../../../../translated_images/id/03.b83ce473d5ff9b9b.webp) - Kompilasi dengan lingkungan python Anda + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Salin file lib, bin, include dari NVIDIA CUDNN 9.4 ke folder lib, bin, include N ``` -**Penafian**: -Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk mencapai akurasi, harap diingat bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sahih. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini. \ No newline at end of file +--- + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk mencapai akurasi, harap diketahui bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sah. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini. + \ No newline at end of file diff --git a/translations/id/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/id/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index d125231ce..f7902328a 100644 --- a/translations/id/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/id/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,44 +1,44 @@ -# Menggunakan Windows GPU untuk membuat solusi Prompt flow dengan Phi-3.5-Instruct ONNX +# Menggunakan GPU Windows untuk membuat solusi Prompt flow dengan Phi-3.5-Instruct ONNX Dokumen berikut adalah contoh cara menggunakan PromptFlow dengan ONNX (Open Neural Network Exchange) untuk mengembangkan aplikasi AI berbasis model Phi-3. -PromptFlow adalah rangkaian alat pengembangan yang dirancang untuk mempermudah siklus pengembangan end-to-end aplikasi AI berbasis LLM (Large Language Model), mulai dari ideasi dan prototipe hingga pengujian dan evaluasi. +PromptFlow adalah rangkaian alat pengembangan yang dirancang untuk menyederhanakan siklus pengembangan aplikasi AI berbasis LLM (Large Language Model) secara menyeluruh, mulai dari ideasi dan prototyping hingga pengujian dan evaluasi. Dengan mengintegrasikan PromptFlow dengan ONNX, pengembang dapat: -- Mengoptimalkan Performa Model: Memanfaatkan ONNX untuk inferensi dan penyebaran model yang efisien. -- Menyederhanakan Pengembangan: Menggunakan PromptFlow untuk mengelola alur kerja dan mengotomatisasi tugas berulang. -- Meningkatkan Kolaborasi: Memfasilitasi kerja sama yang lebih baik antar anggota tim dengan menyediakan lingkungan pengembangan yang terpadu. +- Mengoptimalkan Kinerja Model: Memanfaatkan ONNX untuk inferensi dan penerapan model yang efisien. +- Menyederhanakan Pengembangan: Menggunakan PromptFlow untuk mengelola alur kerja dan mengotomatiskan tugas berulang. +- Meningkatkan Kolaborasi: Memfasilitasi kolaborasi yang lebih baik antar anggota tim dengan menyediakan lingkungan pengembangan yang terpadu. -**Prompt flow** adalah rangkaian alat pengembangan yang dirancang untuk mempermudah siklus pengembangan end-to-end aplikasi AI berbasis LLM, mulai dari ideasi, prototipe, pengujian, evaluasi hingga penyebaran produksi dan pemantauan. Ini membuat rekayasa prompt jauh lebih mudah dan memungkinkan Anda membangun aplikasi LLM dengan kualitas produksi. +**Prompt flow** adalah rangkaian alat pengembangan yang dirancang untuk menyederhanakan siklus pengembangan aplikasi AI berbasis LLM secara menyeluruh, mulai dari ideasi, prototyping, pengujian, evaluasi hingga penerapan dan pemantauan produksi. Ini membuat rekayasa prompt jauh lebih mudah dan memungkinkan Anda membangun aplikasi LLM dengan kualitas produksi. -Prompt flow dapat terhubung ke OpenAI, Azure OpenAI Service, dan model yang dapat disesuaikan (Huggingface, LLM/SLM lokal). Kami berharap dapat menyebarkan model ONNX kuantisasi Phi-3.5 ke aplikasi lokal. Prompt flow dapat membantu kami merencanakan bisnis dengan lebih baik dan menyelesaikan solusi lokal berbasis Phi-3.5. Dalam contoh ini, kami akan menggabungkan ONNX Runtime GenAI Library untuk menyelesaikan solusi Prompt flow berbasis Windows GPU. +Prompt flow dapat terhubung ke OpenAI, Azure OpenAI Service, dan model yang dapat dikustomisasi (Huggingface, LLM/SLM lokal). Kami berharap dapat menerapkan model Phi-3.5 ONNX yang terkuantisasi pada aplikasi lokal. Prompt flow dapat membantu kami merencanakan bisnis dengan lebih baik dan menyelesaikan solusi lokal berbasis Phi-3.5. Dalam contoh ini, kami akan menggabungkan ONNX Runtime GenAI Library untuk menyelesaikan solusi Prompt flow berbasis GPU Windows. ## **Instalasi** -### **ONNX Runtime GenAI untuk Windows GPU** +### **ONNX Runtime GenAI untuk GPU Windows** -Baca panduan ini untuk mengatur ONNX Runtime GenAI untuk Windows GPU [klik di sini](./ORTWindowGPUGuideline.md) +Baca panduan ini untuk mengatur ONNX Runtime GenAI untuk GPU Windows [klik di sini](./ORTWindowGPUGuideline.md) -### **Mengatur Prompt flow di VSCode** +### **Menyiapkan Prompt flow di VSCode** -1. Instal ekstensi Prompt flow di VS Code +1. Instal Ekstensi Prompt flow VS Code ![pfvscode](../../../../../../translated_images/id/pfvscode.eff93dfc66a42cbe.webp) -2. Setelah menginstal ekstensi Prompt flow di VS Code, klik ekstensi tersebut, dan pilih **Installation dependencies** ikuti panduan ini untuk menginstal Prompt flow SDK di lingkungan Anda +2. Setelah memasang Ekstensi Prompt flow VS Code, klik ekstensi tersebut, dan pilih **Installation dependencies** ikuti panduan ini untuk memasang Prompt flow SDK di lingkungan Anda ![pfsetup](../../../../../../translated_images/id/pfsetup.b46e93096f5a254f.webp) -3. Unduh [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) dan buka contoh ini menggunakan VS Code +3. Unduh [Kode Contoh](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) dan gunakan VS Code untuk membuka contoh ini ![pfsample](../../../../../../translated_images/id/pfsample.8d89e70584ffe7c4.webp) -4. Buka **flow.dag.yaml** untuk memilih lingkungan Python Anda +4. Buka **flow.dag.yaml** untuk memilih env Python Anda ![pfdag](../../../../../../translated_images/id/pfdag.264a77f7366458ff.webp) - Buka **chat_phi3_ort.py** untuk mengubah lokasi Model Phi-3.5-instruct ONNX Anda + Buka **chat_phi3_ort.py** untuk mengganti lokasi Model Phi-3.5-instruct ONNX Anda ![pfphi](../../../../../../translated_images/id/pfphi.72da81d74244b45f.webp) @@ -48,11 +48,11 @@ Buka **flow.dag.yaml** klik visual editor ![pfv](../../../../../../translated_images/id/pfv.ba8a81f34b20f603.webp) -setelah klik ini, jalankan untuk menguji +setelah mengklik ini, jalankan untuk pengujian ![pfflow](../../../../../../translated_images/id/pfflow.4e1135a089b1ce1b.webp) -1. Anda dapat menjalankan batch di terminal untuk memeriksa hasil lebih banyak +1. Anda dapat menjalankan batch di terminal untuk memeriksa lebih banyak hasil ```bash @@ -66,5 +66,9 @@ Anda dapat memeriksa hasil di browser default Anda ![pfresult](../../../../../../translated_images/id/pfresult.c22c826f8062d7cb.webp) -**Penafian**: -Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk mencapai akurasi, harap diingat bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sahih. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini. \ No newline at end of file +--- + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Meskipun kami berupaya untuk mencapai akurasi, harap diketahui bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sah. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini. + \ No newline at end of file diff --git a/translations/it/.co-op-translator.json b/translations/it/.co-op-translator.json index 2e198b5ec..cd83c8fda 100644 --- a/translations/it/.co-op-translator.json +++ b/translations/it/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:19:51+00:00", + "translation_date": "2026-07-29T17:54:29+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "it" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:42:47+00:00", + "translation_date": "2026-07-29T17:55:08+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "it" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:59:54+00:00", + "translation_date": "2026-07-29T17:54:45+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "it" }, diff --git a/translations/it/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/it/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 2f810a4af..b0c7261c4 100644 --- a/translations/it/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/it/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ +# **Quantizzare la famiglia Phi utilizzando le estensioni di Intelligenza Artificiale Generativa per onnxruntime** + +## **Cosa sono le estensioni di Intelligenza Artificiale Generativa per onnxruntime** + +Queste estensioni ti aiutano a eseguire l'IA generativa con ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Forniscono il ciclo di intelligenza artificiale generativa per i modelli ONNX, inclusa l'inferenza con ONNX Runtime, l'elaborazione dei logits, la ricerca e il campionamento e la gestione della cache KV. Gli sviluppatori possono chiamare un metodo di alto livello generate() o eseguire ogni iterazione del modello in un ciclo, generando un token alla volta e aggiornando opzionalmente i parametri di generazione all'interno del ciclo. Supporta la ricerca greedy/beam e il campionamento TopP, TopK per generare sequenze di token e l'elaborazione integrata dei logits come le penalità di ripetizione. Puoi anche aggiungere facilmente una valutazione personalizzata. + +A livello di applicazione, puoi usare le estensioni di Intelligenza Artificiale Generativa per onnxruntime per costruire applicazioni utilizzando C++/ C# / Python. A livello di modello, puoi usarle per unire modelli fine-tuned e svolgere lavori correlati di distribuzione quantitativa. + + +## **Quantizzazione di Phi-3.5 con le estensioni di Intelligenza Artificiale Generativa per onnxruntime** + +### **Modelli supportati** + +Le estensioni di Intelligenza Artificiale Generativa per onnxruntime supportano la conversione di quantizzazione di Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder nelle estensioni di Intelligenza Artificiale Generativa per onnxruntime** + +Il model builder accelera notevolmente la creazione di modelli ONNX ottimizzati e quantizzati che funzionano con l'API generate() di ONNX Runtime. + +Attraverso Model Builder, puoi quantizzare il modello in INT4, INT8, FP16, FP32 e combinare diversi metodi di accelerazione hardware come CPU, CUDA, DirectML, Mobile, ecc. + +Per usare Model Builder è necessario installare + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Dopo l'installazione, puoi eseguire lo script Model Builder dal terminale per effettuare la conversione del formato e della quantizzazione del modello. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Comprendi i parametri rilevanti + +1. **model_name** Questo è il modello su Hugging Face, come microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, ecc. Può anche essere il percorso dove memorizzi il modello + +2. **path_to_output_folder** Percorso dove salvare la conversione quantizzata + +3. **execution_provider** Supporto per diverse accelerazioni hardware, come cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Scarichiamo il modello da Hugging Face e lo memorizziamo nella cache localmente + + + + +***Nota：*** + ## **Come usare Model Builder per quantizzare Phi-3.5** -Model Builder supporta ora la quantizzazione del modello ONNX per Phi-3.5 Instruct e Phi-3.5-Vision +Model Builder ora supporta la quantizzazione del modello ONNX per Phi-3.5 Instruct e Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Conversione quantizzata INT4 accelerata su CPU** + +**Conversione accelerata CPU di quantizzazione INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Conversione quantizzata INT4 accelerata su CUDA** +**Conversione accelerata CUDA di quantizzazione INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Imposta l’ambiente nel terminale +1. Imposta l'ambiente nel terminale ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Scarica microsoft/Phi-3.5-vision-instruct nella cartella models +2. Scarica microsoft/Phi-3.5-vision-instruct nella cartella models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Scarica questi file nella cartella di Phi-3.5-vision-instruct +3. Per favore scarica questi file nella tua cartella Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Scarica questo file nella cartella models + +4. Scarica questo file nella cartella models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Vai nel terminale Converti il supporto ONNX con FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **Nota:** -1. Model Builder supporta attualmente la conversione di Phi-3.5-Instruct e Phi-3.5-Vision, ma non di Phi-3.5-MoE +### **Nota：** + +1. Model Builder attualmente supporta la conversione di Phi-3.5-Instruct e Phi-3.5-Vision, ma non Phi-3.5-MoE -2. Per usare il modello quantizzato ONNX, puoi farlo tramite l’SDK Generative AI extensions for onnxruntime +2. Per utilizzare il modello quantizzato ONNX, puoi usarlo tramite l’SDK delle estensioni di Intelligenza Artificiale Generativa per onnxruntime -3. È importante considerare un AI più responsabile, quindi dopo la conversione della quantizzazione del modello, si consiglia di effettuare test più approfonditi sui risultati +3. Dobbiamo considerare un’IA più responsabile, quindi dopo la conversione di quantizzazione del modello si consiglia di effettuare test più efficaci sui risultati + +4. Quantizzando il modello CPU INT4, possiamo distribuirlo su Edge Device, che ha migliori scenari applicativi, quindi abbiamo completato Phi-3.5-Instruct intorno a INT 4 -4. Quantizzando il modello CPU INT4, possiamo distribuirlo su dispositivi Edge, che offrono scenari applicativi migliori; per questo abbiamo completato Phi-3.5-Instruct intorno a INT4 ## **Risorse** -1. Per saperne di più su Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Per saperne di più sulle estensioni di Intelligenza Artificiale Generativa per onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repository GitHub delle estensioni di Intelligenza Artificiale Generativa per onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repository GitHub di Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Disclaimer**: -Questo documento è stato tradotto utilizzando il servizio di traduzione automatica [Co-op Translator](https://github.com/Azure/co-op-translator). Pur impegnandoci per garantire accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un umano. Non ci assumiamo alcuna responsabilità per eventuali malintesi o interpretazioni errate derivanti dall’uso di questa traduzione. \ No newline at end of file + +**Disclaimer**: +Questo documento è stato tradotto utilizzando il servizio di traduzione AI [Co-op Translator](https://github.com/Azure/co-op-translator). Sebbene ci impegniamo per garantire la precisione, si prega di notare che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un essere umano. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall’uso di questa traduzione. + \ No newline at end of file diff --git a/translations/it/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/it/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 56dbea169..121ccc196 100644 --- a/translations/it/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/it/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Guida per OnnxRuntime GenAI Windows GPU** +# **Linee guida per OnnxRuntime GenAI Windows GPU** -Questa guida fornisce i passaggi per configurare e utilizzare ONNX Runtime (ORT) con GPU su Windows. È pensata per aiutarti a sfruttare l'accelerazione GPU per i tuoi modelli, migliorando prestazioni ed efficienza. +Questa linea guida fornisce i passaggi per configurare e utilizzare ONNX Runtime (ORT) con GPU su Windows. È progettata per aiutarti a sfruttare l'accelerazione GPU per i tuoi modelli, migliorando prestazioni ed efficienza. -Il documento offre indicazioni su: +Il documento fornisce indicazioni su: - Configurazione dell'ambiente: Istruzioni per installare le dipendenze necessarie come CUDA, cuDNN e ONNX Runtime. - Configurazione: Come configurare l'ambiente e ONNX Runtime per utilizzare efficacemente le risorse GPU. -- Consigli per l'ottimizzazione: Suggerimenti su come affinare le impostazioni GPU per ottenere prestazioni ottimali. +- Consigli di ottimizzazione: Suggerimenti su come ottimizzare le impostazioni della GPU per prestazioni ottimali. ### **1. Python 3.10.x /3.11.8** - ***Nota*** Si consiglia di usare [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) come ambiente Python + ***Nota*** Si consiglia di utilizzare [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) come ambiente Python ```bash @@ -22,7 +22,8 @@ Il documento offre indicazioni su: ***Promemoria*** Se hai installato qualche libreria Python ONNX, disinstallala -### **2. Installa CMake con winget** +### **2. Installare CMake con winget** + ```bash @@ -30,13 +31,14 @@ Il documento offre indicazioni su: ``` -### **3. Installa Visual Studio 2022 - Desktop Development con C++** +### **3. Installare Visual Studio 2022 - sviluppo desktop con C++** ***Nota*** Se non vuoi compilare puoi saltare questo passaggio ![CPP](../../../../../../translated_images/it/01.42f52a2b2aedff02.webp) -### **4. Installa il driver NVIDIA** + +### **4. Installare il driver NVIDIA** 1. **Driver GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,19 +46,21 @@ Il documento offre indicazioni su: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Promemoria*** Usa le impostazioni predefinite durante l’installazione +***Promemoria*** Utilizza le impostazioni predefinite nel flusso di installazione -### **5. Configura l’ambiente NVIDIA** +### **5. Configurare l'ambiente NVIDIA** -Copia le cartelle lib, bin, include di NVIDIA CUDNN 9.4 in quelle di NVIDIA CUDA 12.4 +Copia le librerie NVIDIA CUDNN 9.4 lib, bin, include nelle corrispondenti cartelle di NVIDIA CUDA 12.4 lib, bin, include -- copia i file da *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- copia i file da *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- copia i file da *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- copia i file da *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* - copia i file da *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* a *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -### **6. Scarica Phi-3.5-mini-instruct-onnx** + +### **6. Scaricare Phi-3.5-mini-instruct-onnx** + ```bash @@ -70,25 +74,30 @@ Copia le cartelle lib, bin, include di NVIDIA CUDNN 9.4 in quelle di NVIDIA CUDA ``` -### **7. Esegui InferencePhi35Instruct.ipynb** +### **7. Eseguire InferencePhi35Instruct.ipynb** - Apri il [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ed esegui + Apri il [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ed esegui -![RESULT](../../../../../../translated_images/it/02.b9b06996cf7255d5.webp) -### **8. Compila ORT GenAI GPU** +![RISULTATO](../../../../../../translated_images/it/02.b9b06996cf7255d5.webp) + + +### **8. Compilare ORT GenAI GPU** + ***Nota*** - 1. Disinstalla prima tutte le librerie onnx, onnxruntime e onnxruntime-genai + 1. Disinstalla prima tutte le librerie correlate a onnx, onnxruntime e onnxruntime-genai + ```bash pip list ``` - Poi disinstalla tutte le librerie onnxruntime, ad esempio + Poi disinstalla tutte le librerie onnxruntime, cioè + ```bash @@ -100,14 +109,18 @@ Copia le cartelle lib, bin, include di NVIDIA CUDNN 9.4 in quelle di NVIDIA CUDA ``` - 2. Verifica il supporto dell’estensione di Visual Studio + 2. Controlla il supporto dell'estensione di Visual Studio - Controlla in C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras che sia presente la cartella C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Verifica in C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras che sia presente la cartella C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Se non la trovi, cerca in altre cartelle del toolkit CUDA e copia la cartella visual_studio_integration con tutto il suo contenuto in C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Se non presente, controlla altre cartelle del toolkit CUDA e copia la cartella visual_studio_integration e il suo contenuto in C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Se non vuoi compilare puoi saltare questo passaggio + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Copia le cartelle lib, bin, include di NVIDIA CUDNN 9.4 in quelle di NVIDIA CUDA - Scarica [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Estrai onnxruntime-win-x64-gpu-1.19.2.zip, rinominalo in **ort** e copia la cartella ort dentro onnxruntime-genai + - Estrai onnxruntime-win-x64-gpu-1.19.2.zip, rinominalo in **ort**, copia la cartella ort in onnxruntime-genai - - Usa Windows Terminal, apri il Developer Command Prompt per VS 2022 e vai nella cartella onnxruntime-genai + - Usando Windows Terminal, apri Developer Command Prompt per VS 2022 e vai in onnxruntime-genai -![RESULT](../../../../../../translated_images/it/03.b83ce473d5ff9b9b.webp) +![RISULTATO](../../../../../../translated_images/it/03.b83ce473d5ff9b9b.webp) - - Compila con il tuo ambiente Python + - Compilalo con il tuo ambiente python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Copia le cartelle lib, bin, include di NVIDIA CUDNN 9.4 in quelle di NVIDIA CUDA ``` -**Disclaimer**: -Questo documento è stato tradotto utilizzando il servizio di traduzione automatica [Co-op Translator](https://github.com/Azure/co-op-translator). Pur impegnandoci per garantire accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un umano. Non ci assumiamo alcuna responsabilità per eventuali malintesi o interpretazioni errate derivanti dall’uso di questa traduzione. \ No newline at end of file +--- + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando il servizio di traduzione AI [Co-op Translator](https://github.com/Azure/co-op-translator). Sebbene ci impegniamo per garantire la precisione, si prega di notare che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un essere umano. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall’uso di questa traduzione. + \ No newline at end of file diff --git a/translations/it/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/it/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 7864422db..e836a1571 100644 --- a/translations/it/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/it/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# Utilizzo della GPU Windows per creare una soluzione Prompt flow con Phi-3.5-Instruct ONNX +# Utilizzo della GPU Windows per creare una soluzione Prompt flow con Phi-3.5-Instruct ONNX Il documento seguente è un esempio di come utilizzare PromptFlow con ONNX (Open Neural Network Exchange) per sviluppare applicazioni AI basate sui modelli Phi-3. -PromptFlow è una suite di strumenti di sviluppo progettata per semplificare l’intero ciclo di sviluppo di applicazioni AI basate su LLM (Large Language Model), dalla fase di ideazione e prototipazione fino a test e valutazione. +PromptFlow è una suite di strumenti di sviluppo progettata per semplificare il ciclo di sviluppo end-to-end di applicazioni AI basate su LLM (Large Language Model), dalla ideazione e prototipazione al testing e valutazione. Integrando PromptFlow con ONNX, gli sviluppatori possono: -- Ottimizzare le prestazioni del modello: sfruttare ONNX per un’inferenza e un deployment efficienti del modello. -- Semplificare lo sviluppo: utilizzare PromptFlow per gestire il flusso di lavoro e automatizzare le attività ripetitive. -- Migliorare la collaborazione: facilitare una migliore collaborazione tra i membri del team offrendo un ambiente di sviluppo unificato. +- Ottimizzare le prestazioni del modello: sfruttare ONNX per un'inferenza e un deployment efficienti del modello. +- Semplificare lo sviluppo: usare PromptFlow per gestire il flusso di lavoro e automatizzare i compiti ripetitivi. +- Migliorare la collaborazione: facilitare una migliore collaborazione tra i membri del team fornendo un ambiente di sviluppo unificato. -**Prompt flow** è una suite di strumenti di sviluppo pensata per semplificare l’intero ciclo di sviluppo di applicazioni AI basate su LLM, dall’ideazione, prototipazione, test, valutazione fino al deployment in produzione e monitoraggio. Rende molto più semplice l’ingegneria dei prompt e permette di costruire app LLM con qualità da produzione. +**Prompt flow** è una suite di strumenti di sviluppo progettata per semplificare il ciclo di sviluppo end-to-end di applicazioni AI basate su LLM, dalla ideazione, prototipazione, testing, valutazione fino al deployment in produzione e monitoraggio. Rende molto più semplice l'ingegneria dei prompt e ti consente di costruire app LLM con qualità di produzione. -Prompt flow può connettersi a OpenAI, Azure OpenAI Service e modelli personalizzabili (Huggingface, LLM/SLM locali). L’obiettivo è distribuire il modello ONNX quantizzato di Phi-3.5 su applicazioni locali. Prompt flow ci aiuta a pianificare meglio il nostro business e a completare soluzioni locali basate su Phi-3.5. In questo esempio, combineremo ONNX Runtime GenAI Library per realizzare la soluzione Prompt flow basata su GPU Windows. +Prompt flow può connettersi a OpenAI, Azure OpenAI Service, e modelli personalizzabili (Huggingface, LLM/SLM locale). Speriamo di distribuire il modello ONNX quantizzato di Phi-3.5 alle applicazioni locali. Prompt flow può aiutarci a pianificare meglio il nostro business e completare soluzioni locali basate su Phi-3.5. In questo esempio, combineremo ONNX Runtime GenAI Library per completare la soluzione Prompt flow basata su Windows GPU. ## **Installazione** -### **ONNX Runtime GenAI per GPU Windows** +### **ONNX Runtime GenAI per Windows GPU** -Leggi questa guida per configurare ONNX Runtime GenAI per GPU Windows [clicca qui](./ORTWindowGPUGuideline.md) +Leggi questa guida per impostare ONNX Runtime GenAI per Windows GPU [clicca qui](./ORTWindowGPUGuideline.md) -### **Configurare Prompt flow in VSCode** +### **Configura Prompt flow in VSCode** -1. Installa l’estensione Prompt flow per VS Code +1. Installa l'estensione Prompt flow per VS Code ![pfvscode](../../../../../../translated_images/it/pfvscode.eff93dfc66a42cbe.webp) -2. Dopo aver installato l’estensione Prompt flow per VS Code, clicca sull’estensione e scegli **Installation dependencies**; segui questa guida per installare il Prompt flow SDK nel tuo ambiente +2. Dopo aver installato l'estensione Prompt flow per VS Code, clicca sull'estensione e scegli **Installation dependencies** segui questa guida per installare Prompt flow SDK nel tuo ambiente ![pfsetup](../../../../../../translated_images/it/pfsetup.b46e93096f5a254f.webp) -3. Scarica il [Codice di esempio](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) e apri questo esempio con VS Code +3. Scarica il [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) e apri questo esempio con VS Code ![pfsample](../../../../../../translated_images/it/pfsample.8d89e70584ffe7c4.webp) -4. Apri **flow.dag.yaml** per selezionare il tuo ambiente Python +4. Apri **flow.dag.yaml** per scegliere il tuo ambiente Python ![pfdag](../../../../../../translated_images/it/pfdag.264a77f7366458ff.webp) - Apri **chat_phi3_ort.py** per modificare la posizione del tuo modello Phi-3.5-instruct ONNX + Apri **chat_phi3_ort.py** per modificare la posizione del modello ONNX Phi-3.5-instruct ![pfphi](../../../../../../translated_images/it/pfphi.72da81d74244b45f.webp) 5. Esegui il tuo prompt flow per il test -Apri **flow.dag.yaml** e clicca su visual editor +Apri **flow.dag.yaml** e clicca sull'editor visuale ![pfv](../../../../../../translated_images/it/pfv.ba8a81f34b20f603.webp) -dopo aver cliccato, esegui il flusso per testarlo +dopo aver cliccato qui, esegui per testare ![pfflow](../../../../../../translated_images/it/pfflow.4e1135a089b1ce1b.webp) -1. Puoi eseguire batch nel terminale per verificare più risultati +1. Puoi eseguire batch nel terminale per controllare più risultati ```bash @@ -66,5 +66,9 @@ Puoi controllare i risultati nel tuo browser predefinito ![pfresult](../../../../../../translated_images/it/pfresult.c22c826f8062d7cb.webp) -**Disclaimer**: -Questo documento è stato tradotto utilizzando il servizio di traduzione automatica [Co-op Translator](https://github.com/Azure/co-op-translator). Pur impegnandoci per garantire accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un umano. Non ci assumiamo alcuna responsabilità per eventuali malintesi o interpretazioni errate derivanti dall’uso di questa traduzione. \ No newline at end of file +--- + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando il servizio di traduzione AI [Co-op Translator](https://github.com/Azure/co-op-translator). Sebbene ci impegniamo per garantire la precisione, si prega di notare che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un essere umano. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall’uso di questa traduzione. + \ No newline at end of file diff --git a/translations/ja/.co-op-translator.json b/translations/ja/.co-op-translator.json index 07d765446..3b01982c9 100644 --- a/translations/ja/.co-op-translator.json +++ b/translations/ja/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:17:06+00:00", + "translation_date": "2026-07-29T18:07:07+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ja" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:40:38+00:00", + "translation_date": "2026-07-29T18:07:44+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ja" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:58:17+00:00", + "translation_date": "2026-07-29T18:07:23+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ja" }, diff --git a/translations/ja/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ja/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 497f8288b..85f3f1add 100644 --- a/translations/ja/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ja/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ +# **onnxruntimeのGenerative AI拡張機能を使用したPhiファミリーの量子化** + +## **onnxruntimeのGenerative AI拡張機能とは** + +この拡張機能はONNX Runtime（[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)）で生成AIを実行するのに役立ちます。ONNXモデル向けの生成AIループを提供し、ONNX Runtimeによる推論、ロジット処理、探索とサンプリング、KVキャッシュ管理などを含みます。開発者は高レベルなgenerate()メソッドを呼び出すことも、ループ内でモデルの各イテレーションを実行して一度に1トークンを生成し、生成パラメータをオプションでループ内で更新することも可能です。貪欲法やビームサーチ、TopPやTopKサンプリングによるトークン列の生成をサポートし、繰り返しペナルティなどの組み込みのロジット処理も備えています。カスタムスコアリングも簡単に追加できます。 + +アプリケーションレベルでは、onnxruntimeのGenerative AI拡張機能を使ってC++/ C# / Pythonでアプリケーションを構築できます。モデルレベルでは、微調整済みモデルをマージし、関連する量子化デプロイメント作業を行うのに役立ちます。 + + +## **onnxruntimeのGenerative AI拡張機能を使ったPhi-3.5の量子化** + +### サポートモデル + +onnxruntimeのGenerative AI拡張機能は、Microsoft Phi、Google Gemma、Mistral、Meta LLaMAの量子化変換をサポートします。 + + +### **onnxruntimeのGenerative AI拡張機能のModel Builder** + +Model Builderは、ONNX Runtime generate() APIで動作する最適化および量子化されたONNXモデルの作成を大幅に加速します。 + +Model Builderを使うと、モデルをINT4、INT8、FP16、FP32に量子化し、CPU、CUDA、DirectML、Mobileなどのさまざまなハードウェアアクセラレーション手法を組み合わせることができます。 + +Model Builderを使用するには以下をインストールする必要があります + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +インストール後、ターミナルからModel Builderスクリプトを実行してモデル形式および量子化変換を行うことができます。 + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +関連パラメータの理解 + +1. **model_name** Hugging face上のモデル名。例：microsoft/Phi-3.5-mini-instruct、microsoft/Phi-3.5-vision-instructなど。モデルを保存しているパスも指定可能 + +2. **path_to_output_folder** 量子化後の保存先パス + +3. **execution_provider** CPU、CUDA、DirectMLなどの異なるハードウェアアクセラレーションのサポート指定 + +4. **cache_dir_to_save_hf_files** Hugging faceからモデルをダウンロードしローカルにキャッシュするディレクトリ + + + + +***注意：*** + ## **Model Builderを使ったPhi-3.5の量子化方法** -Model Builderは現在、Phi-3.5 InstructおよびPhi-3.5-VisionのONNXモデル量子化をサポートしています。 +Model Builderは現在、Phi-3.5 InstructとPhi-3.5 VisionのONNXモデルの量子化をサポートしています ### **Phi-3.5-Instruct** -**CPUアクセラレーションによるINT4量子化変換** + +**CPUアクセラレーションによる量子化INT 4変換** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDAアクセラレーションによるINT4量子化変換** +**CUDAアクセラレーションによる量子化INT 4変換** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. modelsフォルダにmicrosoft/Phi-3.5-vision-instructをダウンロード +2. modelsフォルダにmicrosoft/Phi-3.5-vision-instructをダウンロード [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. 以下のファイルをPhi-3.5-vision-instructフォルダにダウンロードしてください +3. 以下のファイルをYour Phi-3.5-vision-instructフォルダにダウンロードしてください - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,13 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. 以下のファイルをmodelsフォルダにダウンロード +4. このファイルをmodelsフォルダにダウンロード [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. ターミナルに移動し、 +5. ターミナルへ移動 + + FP32でONNXサポートの変換を行う - FP32でONNXサポートの変換を実行 ```bash @@ -65,23 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **注意：** -1. Model Builderは現在、Phi-3.5-InstructとPhi-3.5-Visionの変換をサポートしていますが、Phi-3.5-MoEはサポートしていません。 +1. Model Builderは現在Phi-3.5-InstructとPhi-3.5-Visionの変換をサポートしていますが、Phi-3.5-MoEはサポートしていません + +2. ONNXの量子化モデルを使用するには、Generative AI拡張機能のonnxruntime SDKを通じて利用できます + +3. より責任あるAIを考慮する必要があるため、モデルの量子化変換後はより効果的な結果テストを推奨します -2. ONNXの量子化モデルを使用するには、Generative AI extensions for onnxruntime SDKを通じて利用可能です。 +4. CPUのINT4モデルを量子化することでEdgeデバイスへの展開が可能となり、より良い適用シナリオが広がります。そのため、Phi-3.5-InstructのINT 4周りの作業は完了しています -3. より責任あるAIの観点から、モデルの量子化変換後は、より効果的な結果検証を行うことを推奨します。 -4. CPUのINT4モデルを量子化することで、エッジデバイスへの展開が可能となり、より良いアプリケーションシナリオが期待できるため、Phi-3.5-InstructのINT4周りの対応を完了しています。 +## リソース -## **リソース** +1. onnxruntimeのGenerative AI拡張機能の詳細はこちら [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. Generative AI extensions for onnxruntimeについて詳しくはこちら -[https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntimeのGenerative AI拡張機能GitHubリポジトリ [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHubリポジトリ -[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**免責事項**： -本書類はAI翻訳サービス「[Co-op Translator](https://github.com/Azure/co-op-translator)」を使用して翻訳されました。正確性を期しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じた誤解や誤訳について、当方は一切の責任を負いかねます。 \ No newline at end of file + +**免責事項**： +本書類は AI 翻訳サービス [Co-op Translator](https://github.com/Azure/co-op-translator) を使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確な部分が含まれる可能性があることをご承知おきください。原文の原語版が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や解釈違いについても、当方は責任を負いかねます。 + \ No newline at end of file diff --git a/translations/ja/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ja/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 3a56f7831..6ff351123 100644 --- a/translations/ja/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ja/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **OnnxRuntime GenAI Windows GPU ガイドライン** -このガイドラインは、Windows上でGPUを使用してONNX Runtime (ORT) をセットアップおよび利用する手順を提供します。GPUアクセラレーションを活用してモデルのパフォーマンスと効率を向上させることを目的としています。 +このガイドラインは、Windows上でGPUを使用してONNX Runtime（ORT）を設定および利用する手順を提供します。モデルのGPUアクセラレーションを活用し、パフォーマンスと効率を向上させることを目的としています。 -本書では以下について説明します： +本書類は以下のガイダンスを提供します： -- 環境構築：CUDA、cuDNN、ONNX Runtimeなど必要な依存関係のインストール手順 -- 設定：GPUリソースを効果的に利用するための環境およびONNX Runtimeの設定方法 -- 最適化のヒント：GPU設定を微調整して最適なパフォーマンスを引き出すためのアドバイス +- 環境設定: CUDA、cuDNN、ONNX Runtimeなど必要な依存関係のインストール手順。 +- 設定: GPUリソースを効果的に活用するための環境とONNX Runtimeの設定方法。 +- 最適化のヒント: 最適なパフォーマンスのためのGPU設定の調整方法。 ### **1. Python 3.10.x /3.11.8** - ***注記*** Python環境には[Miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe)の使用を推奨します + 注意 Python環境には [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) の使用を推奨します ```bash @@ -20,22 +20,24 @@ ``` - ***Reminder*** もしPythonのONNXライブラリをインストールしている場合は、アンインストールしてください + リマインダー PythonのONNXライブラリをインストールしている場合は、必ずアンインストールしてください ### **2. wingetでCMakeをインストール** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Visual Studio 2022 - C++によるデスクトップ開発をインストール** +### **3. Visual Studio 2022 - C++によるデスクトップ開発のインストール** - ***注記*** コンパイルしない場合はこのステップをスキップできます + 注意 コンパイルしたくない場合は、このステップをスキップできます ![CPP](../../../../../../translated_images/ja/01.42f52a2b2aedff02.webp) + ### **4. NVIDIAドライバーのインストール** 1. **NVIDIA GPUドライバー** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** インストール時はデフォルト設定を使用してください +リマインダー インストール時はデフォルト設定を使用してください + +### **5. NVIDIA環境設定** -### **5. NVIDIA環境の設定** +NVIDIA CUDNN 9.4 の lib、bin、include を NVIDIA CUDA 12.4 の lib、bin、include にコピーしてください -NVIDIA CUDNN 9.4のlib、bin、includeフォルダの内容をNVIDIA CUDA 12.4の対応するフォルダにコピーします +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 内のファイルを *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* にコピー -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* のファイルを *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* にコピー +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 内のファイルを *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* にコピー -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* のファイルを *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* にコピー +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 内のファイルを *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* にコピー -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* のファイルを *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* にコピー ### **6. Phi-3.5-mini-instruct-onnxのダウンロード** + ```bash winget install -e --id Git.Git @@ -72,15 +76,18 @@ NVIDIA CUDNN 9.4のlib、bin、includeフォルダの内容をNVIDIA CUDA 12.4 ### **7. InferencePhi35Instruct.ipynbの実行** - [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb)を開いて実行してください + [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb)を開き、実行してください + ![RESULT](../../../../../../translated_images/ja/02.b9b06996cf7255d5.webp) + ### **8. ORT GenAI GPUのコンパイル** - ***注記*** + + 注意 - 1. まず、onnx、onnxruntime、onnxruntime-genaiに関するすべてをアンインストールしてください + 1. まず、onnx、onnxruntime、onnxruntime-genaiに関わるものはすべてアンインストールしてください ```bash @@ -89,7 +96,7 @@ NVIDIA CUDNN 9.4のlib、bin、includeフォルダの内容をNVIDIA CUDA 12.4 ``` - その後、すべてのonnxruntimeライブラリをアンインストールします。例： + その後、すべてのonnxruntimeライブラリをアンインストールします ```bash @@ -104,11 +111,15 @@ NVIDIA CUDNN 9.4のlib、bin、includeフォルダの内容をNVIDIA CUDA 12.4 2. Visual Studio拡張機能のサポートを確認 - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras にアクセスし、C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration が存在するか確認してください。 + C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras に、C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration が存在することを確認してください。 - 見つからない場合は、他のCudaツールキットのドライバーフォルダを確認し、visual_studio_integrationフォルダとその内容をC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integrationにコピーしてください + 見つからない場合は、他のCudaツールキットドライバーフォルダを確認し、 visual_studio_integration フォルダとその内容を C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration にコピーしてください。 + + + + + - コンパイルしたくない場合はこのステップをスキップできます - - コンパイルしない場合はこのステップをスキップできます ```bash @@ -118,13 +129,13 @@ NVIDIA CUDNN 9.4のlib、bin、includeフォルダの内容をNVIDIA CUDA 12.4 - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) をダウンロード - - onnxruntime-win-x64-gpu-1.19.2.zipを解凍し、フォルダ名を**ort**に変更してonnxruntime-genaiにコピー + - onnxruntime-win-x64-gpu-1.19.2.zip を解凍し、**ort** に名前を変更して、onnxruntime-genaiにコピー - - Windows TerminalでVS 2022のDeveloper Command Promptを開き、onnxruntime-genaiに移動 + - Windowsターミナルを使用し、VS 2022のDeveloper Command Promptに移動し、onnxruntime-genaiに移動 ![RESULT](../../../../../../translated_images/ja/03.b83ce473d5ff9b9b.webp) - - Python環境でコンパイルを実行 + - Python環境でコンパイルを行う ```bash @@ -140,5 +151,9 @@ NVIDIA CUDNN 9.4のlib、bin、includeフォルダの内容をNVIDIA CUDA 12.4 ``` -**免責事項**： -本書類はAI翻訳サービス「[Co-op Translator](https://github.com/Azure/co-op-translator)」を使用して翻訳されました。正確性を期しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や誤訳についても、当方は一切の責任を負いかねます。 +--- + + +**免責事項**： +本書類は AI 翻訳サービス [Co-op Translator](https://github.com/Azure/co-op-translator) を使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確な部分が含まれる可能性があることをご承知おきください。原文の原語版が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や解釈違いについても、当方は責任を負いかねます。 + \ No newline at end of file diff --git a/translations/ja/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ja/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 4041c0732..385f4c3e3 100644 --- a/translations/ja/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ja/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# Windows GPUを使ってPhi-3.5-Instruct ONNXでPrompt flowソリューションを作成する方法 +# Phi-3.5-Instruct ONNXを使ったWindows GPUでのPrompt flowソリューション作成 -以下のドキュメントは、Phi-3モデルをベースにしたAIアプリケーション開発のために、ONNX（Open Neural Network Exchange）とPromptFlowを使う方法の例です。 +以下のドキュメントは、Phi-3モデルに基づくAIアプリケーション開発のためにPromptFlowをONNX（Open Neural Network Exchange）と連携して使用する例です。 -PromptFlowは、LLM（大規模言語モデル）ベースのAIアプリケーションのアイデア出しやプロトタイピングからテスト、評価までの開発サイクルを効率化するための開発ツール群です。 +PromptFlowは、発想やプロトタイピングからテスト・評価まで、LLM（大規模言語モデル）ベースのAIアプリケーションのエンドツーエンド開発サイクルを効率化する開発ツール群です。 -PromptFlowとONNXを組み合わせることで、開発者は以下のことが可能になります： +PromptFlowとONNXを統合することで、開発者は以下を実現できます: -- モデルパフォーマンスの最適化：ONNXを活用して効率的なモデル推論とデプロイを実現。 -- 開発の簡素化：PromptFlowでワークフローを管理し、繰り返し作業を自動化。 -- コラボレーションの強化：統一された開発環境を提供し、チーム内の連携を促進。 +- モデル性能の最適化: ONNXを活用して効率的なモデル推論と展開を実現。 +- 開発の簡素化: PromptFlowを使ってワークフローを管理し、反復作業を自動化。 +- 協業の促進: 統一された開発環境によりチームメンバー間の協業を支援。 -**Prompt flow**は、LLMベースのAIアプリケーションのアイデア出し、プロトタイピング、テスト、評価から本番展開や監視までの開発サイクルを効率化する開発ツール群です。プロンプトエンジニアリングを格段に簡単にし、プロダクション品質のLLMアプリを構築できるようにします。 +**Prompt flow** は、アイデア出し、プロトタイピング、テスト、評価から本番展開や監視まで、LLMベースAIアプリ開発のエンドツーエンドサイクルを効率化する開発ツール群です。プロンプトエンジニアリングをより簡単にし、品質の高いLLMアプリの構築を可能にします。 -Prompt flowはOpenAI、Azure OpenAI Service、カスタマイズ可能なモデル（Huggingface、ローカルのLLM/SLM）に接続可能です。Phi-3.5の量子化されたONNXモデルをローカルアプリケーションに展開することを目指しています。Prompt flowはビジネスの計画やPhi-3.5をベースにしたローカルソリューションの完成に役立ちます。この例では、ONNX Runtime GenAIライブラリを組み合わせて、Windows GPU上でPrompt flowソリューションを完成させます。 +Prompt flowはOpenAI、Azure OpenAI Service、カスタマイズ可能なモデル（HuggingfaceやローカルのLLM/SLM）に接続できます。私たちはPhi-3.5の量子化ONNXモデルをローカルアプリに展開することを目指しています。Prompt flowはビジネスの計画を支援し、Phi-3.5をベースにしたローカルソリューションの完成をサポートします。本例では、Windows GPU上でONNX Runtime GenAIライブラリを組み合わせてPrompt flowソリューションを完成させます。 -## **インストール** +## インストール ### **Windows GPU用ONNX Runtime GenAI** -Windows GPU用ONNX Runtime GenAIの設定方法はこのガイドを参照してください [こちらをクリック](./ORTWindowGPUGuideline.md) +Windows GPU用ONNX Runtime GenAIの設定方法は、[こちらをクリック](./ORTWindowGPUGuideline.md)してください。 -### **VSCodeでPrompt flowをセットアップする** +### **VSCodeでのPrompt flowセットアップ** -1. Prompt flowのVS Code拡張機能をインストールします +1. Prompt flow VS Code拡張機能をインストール ![pfvscode](../../../../../../translated_images/ja/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flowのVS Code拡張機能をインストール後、拡張機能をクリックし、**Installation dependencies**を選択して、このガイドに従い環境にPrompt flow SDKをインストールします +2. Prompt flow VS Code拡張機能をインストールした後、拡張機能をクリックし、インストール依存関係を選択して、このガイドに従い環境にPrompt flow SDKをインストールしてください。 ![pfsetup](../../../../../../translated_images/ja/pfsetup.b46e93096f5a254f.webp) -3. [サンプルコード](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf)をダウンロードし、VS Codeで開きます +3. [サンプルコード](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf)をダウンロードし、VS Codeでこのサンプルを開きます。 ![pfsample](../../../../../../translated_images/ja/pfsample.8d89e70584ffe7c4.webp) -4. **flow.dag.yaml**を開いてPython環境を選択します +4. flow.dag.yamlを開きPython環境を選択 ![pfdag](../../../../../../translated_images/ja/pfdag.264a77f7366458ff.webp) - **chat_phi3_ort.py**を開いてPhi-3.5-instruct ONNXモデルの場所を変更します + chat_phi3_ort.pyを開き、Phi-3.5-instruct ONNXモデルの場所を変更 ![pfphi](../../../../../../translated_images/ja/pfphi.72da81d74244b45f.webp) -5. Prompt flowを実行してテストします +5. Prompt flowを実行してテスト -**flow.dag.yaml**を開き、ビジュアルエディターをクリックします +flow.dag.yamlを開きビジュアルエディタをクリック ![pfv](../../../../../../translated_images/ja/pfv.ba8a81f34b20f603.webp) -クリック後、実行してテストします +これをクリックして実行しテスト ![pfflow](../../../../../../translated_images/ja/pfflow.4e1135a089b1ce1b.webp) -1. ターミナルでバッチ実行してさらに結果を確認できます +1. ターミナルでバッチを実行し、さらに結果を確認可能 ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -結果はデフォルトのブラウザで確認可能です +デフォルトブラウザで結果を確認できます ![pfresult](../../../../../../translated_images/ja/pfresult.c22c826f8062d7cb.webp) -**免責事項**： -本書類はAI翻訳サービス「[Co-op Translator](https://github.com/Azure/co-op-translator)」を使用して翻訳されました。正確性には努めておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や誤訳についても、当方は一切の責任を負いかねます。 \ No newline at end of file +--- + + +**免責事項**： +本書類は AI 翻訳サービス [Co-op Translator](https://github.com/Azure/co-op-translator) を使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確な部分が含まれる可能性があることをご承知おきください。原文の原語版が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や解釈違いについても、当方は責任を負いかねます。 + \ No newline at end of file diff --git a/translations/ko/.co-op-translator.json b/translations/ko/.co-op-translator.json index 44a811649..cf2e37e17 100644 --- a/translations/ko/.co-op-translator.json +++ b/translations/ko/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:17:25+00:00", + "translation_date": "2026-07-29T18:08:11+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ko" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:40:51+00:00", + "translation_date": "2026-07-29T18:08:50+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ko" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:58:29+00:00", + "translation_date": "2026-07-29T18:08:28+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ko" }, diff --git a/translations/ko/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ko/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 784ec5fcc..a98ad42fe 100644 --- a/translations/ko/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ko/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Model Builder를 사용하여 Phi-3.5 양자화하는 방법** +# **onnxruntime용 생성 AI 확장을 이용한 Phi 패밀리 양자화** -Model Builder는 현재 Phi-3.5 Instruct와 Phi-3.5-Vision의 ONNX 모델 양자화를 지원합니다. +## **onnxruntime용 생성 AI 확장이란?** + +이 확장은 ONNX Runtime([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai))과 함께 생성 AI를 실행할 수 있도록 도와줍니다. ONNX 모델을 위한 생성 AI 루프를 제공하며, 여기에는 ONNX Runtime을 통한 추론, 로짓 처리, 탐색 및 샘플링, KV 캐시 관리가 포함됩니다. 개발자는 고수준의 generate() 메서드를 호출하거나 모델의 각 이터레이션을 루프 내에서 실행하여 한 번에 한 토큰씩 생성하고 선택적으로 루프 내에서 생성 매개변수를 업데이트할 수 있습니다. 탐욕적/빔 탐색과 TopP, TopK 샘플링을 지원하여 토큰 시퀀스를 생성하며 반복 패널티 같은 내장 로짓 처리도 포함되어 있습니다. 또한 사용자 정의 점수 매기기를 쉽게 추가할 수 있습니다. + +애플리케이션 수준에서는 onnxruntime용 생성 AI 확장을 사용해 C++/C#/Python으로 애플리케이션을 구축할 수 있고, 모델 수준에서는 미세 조정된 모델을 병합하고 관련 양자화 배포 작업을 수행할 수 있습니다. + + +## **onnxruntime용 생성 AI 확장을 이용한 Phi-3.5 양자화** + +### **지원 모델** + +onnxruntime용 생성 AI 확장은 Microsoft Phi, Google Gemma, Mistral, Meta LLaMA의 양자화 변환을 지원합니다。 + + +### **onnxruntime용 생성 AI 확장의 모델 빌더** + +모델 빌더는 ONNX Runtime의 generate() API와 함께 실행되는 최적화되고 양자화된 ONNX 모델을 만드는 작업을 대폭 가속화합니다. + +모델 빌더를 통해 모델을 INT4, INT8, FP16, FP32로 양자화할 수 있고 CPU, CUDA, DirectML, Mobile 등 다양한 하드웨어 가속 방식을 결합할 수 있습니다. + +모델 빌더를 사용하려면 + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +설치 후, 터미널에서 모델 빌더 스크립트를 실행해 모델 포맷과 양자화 변환을 수행할 수 있습니다. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +관련 매개변수 이해하기 + +1. **model_name** Hugging Face의 모델명, 예를 들어 microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct 등이 있습니다. 모델 저장 경로일 수도 있습니다. + +2. **path_to_output_folder** 양자화 변환 결과 저장 경로 + +3. **execution_provider** CPU, CUDA, DirectML 등 다양한 하드웨어 가속 지원 + +4. **cache_dir_to_save_hf_files** Hugging Face에서 모델을 다운로드해 로컬에 캐시하는 경로 + + + + +***참고：*** + +## **모델 빌더를 사용해 Phi-3.5 양자화하는 방법** + +현재 모델 빌더는 Phi-3.5 Instruct와 Phi-3.5-Vision ONNX 모델 양자화를 지원합니다. ### **Phi-3.5-Instruct** -**CPU 가속 INT4 양자화 변환** + +**CPU 가속을 이용한 양자화 INT4 변환** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA 가속 INT4 양자화 변환** +**CUDA 가속을 이용한 양자화 INT4 변환** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,7 +101,7 @@ cd models ``` -2. models 폴더에 microsoft/Phi-3.5-vision-instruct 다운로드 +2. models 폴더에 microsoft/Phi-3.5-vision-instruct 다운로드 [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. 다음 파일들을 Phi-3.5-vision-instruct 폴더에 다운로드하세요 @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. models 폴더에 이 파일 다운로드 + +4. 모델 폴더에 다음 파일 다운로드 [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. 터미널로 이동 - FP32로 ONNX 지원 변환 실행 + FP32 ONNX 지원으로 변환 + ```bash @@ -64,23 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **참고：** -1. Model Builder는 현재 Phi-3.5-Instruct와 Phi-3.5-Vision 변환만 지원하며 Phi-3.5-MoE는 지원하지 않습니다. +1. 모델 빌더는 현재 Phi-3.5-Instruct와 Phi-3.5-Vision 변환만 지원하며 Phi-3.5-MoE는 지원하지 않습니다. + +2. ONNX 양자화 모델은 onnxruntime용 생성 AI 확장 SDK를 통해 사용할 수 있습니다. + +3. 보다 책임감 있는 AI를 위해 모델 양자화 변환 후 더 효과적인 결과 테스트를 권장합니다. -2. ONNX 양자화 모델은 Generative AI extensions for onnxruntime SDK를 통해 사용할 수 있습니다. +4. CPU INT4 모델 양자화를 통해 Edge 디바이스에 배포할 수 있어 더 좋은 적용 사례가 있으며, 이에 따라 Phi-3.5-Instruct INT4 변환을 완료하였습니다. -3. 보다 책임감 있는 AI 사용을 위해 모델 양자화 변환 후에는 효과적인 결과 테스트를 권장합니다. -4. CPU INT4 모델 양자화를 통해 Edge Device에 배포할 수 있어 더 나은 적용 시나리오를 제공합니다. 이에 따라 Phi-3.5-Instruct INT4 양자화를 완료했습니다. +## 자료 -## **자료** +1. onnxruntime용 생성 AI 확장에 대해 더 알아보기 [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. Generative AI extensions for onnxruntime에 대해 더 알아보기 -[https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntime용 생성 AI 확장 GitHub 저장소 [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub 저장소 -[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**면책 조항**: -이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있으나, 자동 번역에는 오류나 부정확한 부분이 있을 수 있음을 유의하시기 바랍니다. 원문은 해당 언어의 원본 문서가 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우 전문적인 인간 번역을 권장합니다. 본 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file + +**면책 조항**: +이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역은 오류나 부정확한 부분이 있을 수 있음을 유의하시기 바랍니다. 원본 문서의 원어본이 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문가의 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. + \ No newline at end of file diff --git a/translations/ko/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ko/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index fa8bbd1b1..6b2c8ebfa 100644 --- a/translations/ko/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ko/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **OnnxRuntime GenAI Windows GPU 가이드라인** -이 가이드라인은 Windows에서 GPU를 사용하여 ONNX Runtime(ORT)을 설정하고 사용하는 방법을 안내합니다. GPU 가속을 활용해 모델의 성능과 효율성을 높이는 데 도움을 주기 위해 작성되었습니다. +이 가이드라인은 Windows에서 GPU를 사용하여 ONNX Runtime(ORT)을 설정하고 사용하는 단계들을 제공합니다. 모델의 GPU 가속을 활용하여 성능과 효율성을 향상시키는 데 도움을 주기 위해 설계되었습니다. -문서에서는 다음 내용을 다룹니다: +문서에서는 다음에 대한 안내를 제공합니다: -- 환경 설정: CUDA, cuDNN, ONNX Runtime 등 필요한 의존성 설치 방법 -- 구성: GPU 자원을 효과적으로 활용하기 위한 환경 및 ONNX Runtime 설정 방법 -- 최적화 팁: GPU 설정을 최적화하여 성능을 극대화하는 방법 +- 환경 설정: CUDA, cuDNN, ONNX Runtime 등 필요한 종속성 설치 지침. +- 구성: GPU 자원을 효과적으로 활용할 수 있도록 환경과 ONNX Runtime을 구성하는 방법. +- 최적화 팁: 최적의 성능을 위한 GPU 설정 조정에 관한 조언. ### **1. Python 3.10.x /3.11.8** - ***Note*** Python 환경으로 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 사용을 권장합니다. + 참고 Python 환경으로 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 사용을 권장합니다 ```bash @@ -20,9 +20,10 @@ ``` - ***Reminder*** Python ONNX 라이브러리를 설치한 적이 있다면 반드시 제거하세요. + 알림 Python ONNX 라이브러리를 설치한 경우 반드시 제거하세요 + +### **2. winget을 이용한 CMake 설치** -### **2. winget으로 CMake 설치하기** ```bash @@ -32,10 +33,11 @@ ### **3. Visual Studio 2022 - C++ 데스크톱 개발 설치** - ***Note*** 컴파일하지 않을 경우 이 단계는 건너뛰어도 됩니다. + 참고 컴파일하지 않을 경우 이 단계는 건너뛸 수 있습니다 ![CPP](../../../../../../translated_images/ko/01.42f52a2b2aedff02.webp) + ### **4. NVIDIA 드라이버 설치** 1. **NVIDIA GPU 드라이버** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** 설치 과정에서는 기본 설정을 사용하세요. +알림 설치 과정에서는 기본 설정을 사용하세요 ### **5. NVIDIA 환경 설정** -NVIDIA CUDNN 9.4의 lib, bin, include 폴더를 NVIDIA CUDA 12.4의 lib, bin, include 폴더에 복사합니다. +NVIDIA CUDNN 9.4 의 lib, bin, include 폴더를 NVIDIA CUDA 12.4의 lib, bin, include 폴더에 복사하세요 -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'*의 파일들을 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'*에 복사 +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 파일들을 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* 로 복사 -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'*의 파일들을 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'*에 복사 +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 파일들을 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* 로 복사 + +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 파일들을 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* 로 복사 -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'*의 파일들을 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'*에 복사 ### **6. Phi-3.5-mini-instruct-onnx 다운로드** + ```bash winget install -e --id Git.Git @@ -70,17 +74,20 @@ NVIDIA CUDNN 9.4의 lib, bin, include 폴더를 NVIDIA CUDA 12.4의 lib, bin, in ``` -### **7. InferencePhi35Instruct.ipynb 실행하기** +### **7. InferencePhi35Instruct.ipynb 실행** + + [노트북](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 열고 실행하세요 - [노트북](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb)을 열고 실행하세요. ![RESULT](../../../../../../translated_images/ko/02.b9b06996cf7255d5.webp) + ### **8. ORT GenAI GPU 컴파일** - ***Note*** + + 참고 - 1. 먼저 onnx, onnxruntime, onnxruntime-genai 관련 모든 패키지를 제거하세요. + 1. onnx, onnxruntime, onnxruntime-genai 관련 모든 패키지를 우선 제거하세요 ```bash @@ -89,7 +96,8 @@ NVIDIA CUDNN 9.4의 lib, bin, include 폴더를 NVIDIA CUDA 12.4의 lib, bin, in ``` - 이후 모든 onnxruntime 라이브러리를 제거합니다. + 그리고 모든 onnxruntime 라이브러리를 제거하세요 예를 들면 + ```bash @@ -101,13 +109,17 @@ NVIDIA CUDNN 9.4의 lib, bin, include 폴더를 NVIDIA CUDA 12.4의 lib, bin, in ``` - 2. Visual Studio 확장 기능 지원 확인 + 2. Visual Studio 확장 지원 확인 + + C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 경로에서 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 폴더가 있는지 확인하세요. + + 없다면 다른 CUDA 툴킷 드라이버 폴더를 확인해 visual_studio_integration 폴더와 내용을 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 으로 복사하세요 + + - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 경로에서 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 폴더가 있는지 확인하세요. - 없으면 다른 CUDA 툴킷 드라이버 폴더에서 visual_studio_integration 폴더와 내용을 찾아 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 경로에 복사하세요. + - 컴파일하지 않을 경우 이 단계는 건너뛸 수 있습니다 - - 컴파일하지 않을 경우 이 단계는 건너뛰어도 됩니다. ```bash @@ -115,15 +127,15 @@ NVIDIA CUDNN 9.4의 lib, bin, include 폴더를 NVIDIA CUDA 12.4의 lib, bin, in ``` - - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) 다운로드 + - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) 에서 다운로드 - - onnxruntime-win-x64-gpu-1.19.2.zip 압축 해제 후 폴더 이름을 **ort**로 변경하고 onnxruntime-genai 폴더에 복사 + - onnxruntime-win-x64-gpu-1.19.2.zip 압축 해제 후 **ort** 로 폴더 이름 변경, 그 후 onnxruntime-genai 폴더에 복사 - - Windows Terminal에서 VS 2022용 Developer Command Prompt를 열고 onnxruntime-genai 폴더로 이동 + - Windows 터미널을 사용하여 VS 2022용 Developer Command Prompt 로 이동 후 onnxruntime-genai 폴더로 이동하세요 ![RESULT](../../../../../../translated_images/ko/03.b83ce473d5ff9b9b.webp) - - Python 환경에서 컴파일 실행 + - Python 환경에서 컴파일하세요 ```bash @@ -139,5 +151,9 @@ NVIDIA CUDNN 9.4의 lib, bin, include 폴더를 NVIDIA CUDA 12.4의 lib, bin, in ``` -**면책 조항**: -이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있으나, 자동 번역에는 오류나 부정확한 부분이 있을 수 있음을 유의해 주시기 바랍니다. 원문은 해당 언어의 원본 문서가 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우 전문적인 인간 번역을 권장합니다. 본 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file +--- + + +**면책 조항**: +이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역은 오류나 부정확한 부분이 있을 수 있음을 유의하시기 바랍니다. 원본 문서의 원어본이 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문가의 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. + \ No newline at end of file diff --git a/translations/ko/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ko/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index ca3f6d6af..905bc2b85 100644 --- a/translations/ko/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ko/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,54 +1,54 @@ -# Windows GPU를 사용하여 Phi-3.5-Instruct ONNX로 Prompt flow 솔루션 만들기 +# Phi-3.5-Instruct ONNX로 Windows GPU를 사용하여 Prompt flow 솔루션 만들기 -다음 문서는 Phi-3 모델을 기반으로 한 AI 애플리케이션 개발을 위해 ONNX(Open Neural Network Exchange)와 함께 PromptFlow를 사용하는 방법에 대한 예시입니다. +다음 문서는 Phi-3 모델을 기반으로 AI 애플리케이션을 개발하기 위해 ONNX(Open Neural Network Exchange)와 함께 PromptFlow를 사용하는 예시입니다. -PromptFlow는 아이디어 구상, 프로토타이핑부터 테스트 및 평가에 이르기까지 LLM 기반(대형 언어 모델) AI 애플리케이션의 전체 개발 주기를 간소화하기 위해 설계된 개발 도구 모음입니다. +PromptFlow는 아이디어 구상, 프로토타이핑부터 테스트 및 평가까지 LLM(대형 언어 모델) 기반 AI 애플리케이션의 엔드투엔드 개발 주기를 간소화하도록 설계된 개발 도구 모음입니다. -PromptFlow와 ONNX를 통합함으로써 개발자는 다음을 할 수 있습니다: +PromptFlow를 ONNX와 통합함으로써 개발자는: -- 모델 성능 최적화: ONNX를 활용하여 효율적인 모델 추론 및 배포를 지원합니다. -- 개발 간소화: PromptFlow를 사용해 워크플로우를 관리하고 반복 작업을 자동화합니다. -- 협업 강화: 통합 개발 환경을 제공하여 팀원 간의 협업을 원활하게 합니다. +- 모델 성능 최적화: ONNX를 활용하여 효율적인 모델 추론 및 배포를 할 수 있습니다. +- 개발 단순화: PromptFlow를 사용하여 워크플로우를 관리하고 반복 작업을 자동화할 수 있습니다. +- 협업 강화: 통합 개발 환경을 제공하여 팀원 간 협업을 원활하게 할 수 있습니다. -**Prompt flow**는 아이디어 구상, 프로토타이핑, 테스트, 평가부터 프로덕션 배포 및 모니터링까지 LLM 기반 AI 애플리케이션의 전체 개발 주기를 간소화하는 개발 도구 모음입니다. 프롬프트 엔지니어링을 훨씬 쉽게 만들어주며, 프로덕션 품질의 LLM 앱을 구축할 수 있게 해줍니다. +Prompt flow는 LLM 기반 AI 애플리케이션의 아이디어 구상, 프로토타이핑, 테스트, 평가, 프로덕션 배포 및 모니터링까지 엔드투엔드 개발 주기를 간소화하도록 설계된 개발 도구 모음입니다. 프롬프트 엔지니어링을 훨씬 쉽게 하며, 프로덕션 품질의 LLM 애플리케이션을 구축할 수 있게 합니다. -Prompt flow는 OpenAI, Azure OpenAI Service, 그리고 커스터마이징 가능한 모델(Huggingface, 로컬 LLM/SLM)과 연결할 수 있습니다. Phi-3.5의 양자화된 ONNX 모델을 로컬 애플리케이션에 배포하는 것을 목표로 합니다. Prompt flow는 비즈니스 계획을 더 잘 세우고 Phi-3.5 기반의 로컬 솔루션을 완성하는 데 도움을 줄 수 있습니다. 이 예제에서는 ONNX Runtime GenAI 라이브러리를 결합하여 Windows GPU 기반의 Prompt flow 솔루션을 완성할 것입니다. +Prompt flow는 OpenAI, Azure OpenAI Service 및 맞춤형 모델(Huggingface, 로컬 LLM/SLM)과 연결할 수 있습니다. 우리는 Phi-3.5의 양자화된 ONNX 모델을 로컬 애플리케이션에 배포하려 합니다. Prompt flow는 비즈니스 계획을 더 잘 수립하고 Phi-3.5를 기반으로 한 로컬 솔루션을 완성하는 데 도움이 됩니다. 이 예제에서는 ONNX Runtime GenAI 라이브러리를 결합하여 Windows GPU 기반 Prompt flow 솔루션을 완성합니다. -## **설치** +## 설치 ### **Windows GPU용 ONNX Runtime GenAI** -Windows GPU용 ONNX Runtime GenAI 설정 가이드를 읽으려면 [여기 클릭](./ORTWindowGPUGuideline.md) +Windows GPU용 ONNX Runtime GenAI 설정 지침을 읽으려면 [여기 클릭](./ORTWindowGPUGuideline.md) -### **VSCode에서 Prompt flow 설정하기** +### **VSCode에서 Prompt flow 설정** 1. Prompt flow VS Code 확장 프로그램 설치 ![pfvscode](../../../../../../translated_images/ko/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code 확장 프로그램 설치 후, 확장 프로그램을 클릭하고 **Installation dependencies**를 선택하여 이 가이드에 따라 환경에 Prompt flow SDK를 설치하세요. +2. Prompt flow VS Code 확장 프로그램 설치 후 확장 프로그램을 클릭하고 설치 종속성을 선택하여 이 지침에 따라 환경에 Prompt flow SDK를 설치하세요. ![pfsetup](../../../../../../translated_images/ko/pfsetup.b46e93096f5a254f.webp) -3. [샘플 코드](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf)를 다운로드하고 VS Code로 열기 +3. [샘플 코드](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf)를 다운로드하고 VS Code로 이 샘플을 엽니다. ![pfsample](../../../../../../translated_images/ko/pfsample.8d89e70584ffe7c4.webp) -4. **flow.dag.yaml**을 열어 Python 환경을 선택하세요. +4. flow.dag.yaml을 열어 Python 환경을 선택합니다. ![pfdag](../../../../../../translated_images/ko/pfdag.264a77f7366458ff.webp) - **chat_phi3_ort.py**를 열어 Phi-3.5-instruct ONNX 모델 위치를 변경하세요. + chat_phi3_ort.py를 열어 Phi-3.5-Instruct ONNX 모델 위치를 변경하세요. ![pfphi](../../../../../../translated_images/ko/pfphi.72da81d74244b45f.webp) -5. 프롬프트 플로우를 실행하여 테스트하기 +5. 프롬프트 플로우를 실행해 테스트합니다. -**flow.dag.yaml**을 열고 시각적 편집기를 클릭하세요. +flow.dag.yaml을 열고 시각적 편집기를 클릭하세요. ![pfv](../../../../../../translated_images/ko/pfv.ba8a81f34b20f603.webp) -클릭 후 실행하여 테스트합니다. +이 버튼을 클릭한 후 실행하여 테스트합니다. ![pfflow](../../../../../../translated_images/ko/pfflow.4e1135a089b1ce1b.webp) @@ -66,5 +66,9 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ![pfresult](../../../../../../translated_images/ko/pfresult.c22c826f8062d7cb.webp) -**면책 조항**: -이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있으나, 자동 번역에는 오류나 부정확한 부분이 있을 수 있음을 유의하시기 바랍니다. 원문은 해당 언어의 원본 문서가 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우 전문적인 인간 번역을 권장합니다. 본 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file +--- + + +**면책 조항**: +이 문서는 AI 번역 서비스 [Co-op Translator](https://github.com/Azure/co-op-translator)를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역은 오류나 부정확한 부분이 있을 수 있음을 유의하시기 바랍니다. 원본 문서의 원어본이 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문가의 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. + \ No newline at end of file diff --git a/translations/lt/.co-op-translator.json b/translations/lt/.co-op-translator.json index c5a722c58..0f68ed53c 100644 --- a/translations/lt/.co-op-translator.json +++ b/translations/lt/.co-op-translator.json @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-09-12T14:32:02+00:00", + "translation_date": "2026-07-29T17:25:50+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "lt" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-09-12T14:32:20+00:00", + "translation_date": "2026-07-29T17:25:28+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "lt" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-09-12T14:45:38+00:00", + "translation_date": "2026-07-29T17:25:13+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "lt" }, diff --git a/translations/lt/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/lt/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index e76bf9352..5c1dd3bc7 100644 --- a/translations/lt/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/lt/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Gairės OnnxRuntime GenAI Windows GPU** +# **Vadovas OnnxRuntime GenAI Windows GPU** -Šios gairės pateikia žingsnius, kaip nustatyti ir naudoti ONNX Runtime (ORT) su GPU Windows aplinkoje. Jos skirtos padėti jums pasinaudoti GPU pagreičiu, siekiant pagerinti modelių našumą ir efektyvumą. +Šis vadovas pateikia žingsnius, kaip nustatyti ir naudoti ONNX Runtime (ORT) su GPU Windows aplinkoje. Jis skirtas padėti jums pasinaudoti GPU pagreitinimu savo modeliams, gerinant našumą ir efektyvumą. -Dokumente pateikiama informacija apie: +Dokumentas pateikia gaires: -- Aplinkos nustatymą: Instrukcijos, kaip įdiegti reikalingas priklausomybes, tokias kaip CUDA, cuDNN ir ONNX Runtime. -- Konfigūraciją: Kaip sukonfigūruoti aplinką ir ONNX Runtime, kad efektyviai naudotų GPU resursus. -- Optimizavimo patarimus: Rekomendacijos, kaip geriausiai sureguliuoti GPU nustatymus, siekiant optimalaus našumo. +- Aplinkos nustatymas: Nurodymai, kaip įdiegti reikalingas priklausomybes, tokias kaip CUDA, cuDNN ir ONNX Runtime. +- Konfigūracija: Kaip sukonfigūruoti aplinką ir ONNX Runtime, kad efektyviai naudotumėte GPU išteklius. +- Optimizacijos patarimai: Patarimai, kaip patobulinti GPU nustatymus optimaliai veiklai. ### **1. Python 3.10.x /3.11.8** - ***Pastaba*** Rekomenduojama naudoti [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kaip Python aplinką. + ***Pastaba*** Siūloma naudoti [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kaip savo Python aplinką ```bash @@ -20,44 +20,48 @@ Dokumente pateikiama informacija apie: ``` - ***Primename*** Jei jau įdiegėte bet kokią Python ONNX biblioteką, ją pašalinkite. + ***Priminkite*** Jei turite įdiegtą bet kurią Python ONNX biblioteką, ją prašome pašalinti ### **2. Įdiekite CMake su winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Įdiekite Visual Studio 2022 - Desktop Development with C++** +### **3. Įdiekite Visual Studio 2022 - Desktop Development su C++** + + ***Pastaba*** Jei nenorite kompiliuoti, galite praleisti šį žingsnį - ***Pastaba*** Jei nenorite kompiliuoti, galite praleisti šį žingsnį. +![CPP](../../../../../../translated_images/lt/01.42f52a2b2aedff02.webp) -![CPP](../../../../../../imgs/02/pfonnx/01.png) ### **4. Įdiekite NVIDIA tvarkyklę** -1. **NVIDIA GPU tvarkyklė** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU tvarkyklė** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) -3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) +3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Primename*** Naudokite numatytuosius nustatymus diegimo metu. +***Priminkite*** Prašome naudoti numatytuosius nustatymus diegimo metu ### **5. Nustatykite NVIDIA aplinką** -Kopijuokite NVIDIA CUDNN 9.4 lib, bin, include į NVIDIA CUDA 12.4 lib, bin, include. +Nukopijuokite NVIDIA CUDNN 9.4 lib, bin, include į NVIDIA CUDA 12.4 lib, bin, include -- kopijuokite *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* failus į *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* +- nukopijuokite *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* failus į *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- kopijuokite *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* failus į *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* +- nukopijuokite *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* failus į *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- nukopijuokite *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* failus į *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopijuokite *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* failus į *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Atsisiųskite Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ Kopijuokite NVIDIA CUDNN 9.4 lib, bin, include į NVIDIA CUDA 12.4 lib, bin, inc ``` -### **7. Vykdykite InferencePhi35Instruct.ipynb** +### **7. Paleiskite InferencePhi35Instruct.ipynb** - Atidarykite [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ir vykdykite. + Atverkite [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ir vykdykite + + +![RESULT](../../../../../../translated_images/lt/02.b9b06996cf7255d5.webp) -![RESULT](../../../../../../imgs/02/pfonnx/02.png) ### **8. Kompiliuokite ORT GenAI GPU** - ***Pastaba*** - 1. Pirmiausia pašalinkite visas onnx, onnxruntime ir onnxruntime-genai bibliotekas. + ***Pastaba*** + + 1. Prašome pirmiausia pašalinti visas onnx, onnxruntime ir onnxruntime-genai bibliotekas + ```bash pip list ``` - Tada pašalinkite visas onnxruntime bibliotekas, pvz.: + Tada pašalinkite visas onnxruntime bibliotekas, pvz. + ```bash @@ -100,13 +109,17 @@ Kopijuokite NVIDIA CUDNN 9.4 lib, bin, include į NVIDIA CUDA 12.4 lib, bin, inc ``` - 2. Patikrinkite Visual Studio Extension palaikymą. + 2. Patikrinkite Visual Studio plėtinius + + Patikrinkite C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, ar yra C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + + Jei nerandate, patikrinkite kitus Cuda įrankių rinkinio katalogus ir nukopijuokite visual_studio_integration aplanką bei turinį į C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + - Patikrinkite C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, kad įsitikintumėte, jog C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration yra. - Jei nerandate, patikrinkite kitus CUDA įrankių rinkinio tvarkyklės aplankus ir nukopijuokite visual_studio_integration aplanką bei jo turinį į C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - - Jei nenorite kompiliuoti, galite praleisti šį žingsnį. + - Jei nenorite kompiliuoti, galite praleisti šį žingsnį + ```bash @@ -116,14 +129,15 @@ Kopijuokite NVIDIA CUDNN 9.4 lib, bin, include į NVIDIA CUDA 12.4 lib, bin, inc - Atsisiųskite [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Išskleiskite onnxruntime-win-x64-gpu-1.19.2.zip, pervadinkite į **ort**, nukopijuokite ort aplanką į onnxruntime-genai. + - Išarchyvuokite onnxruntime-win-x64-gpu-1.19.2.zip, pervardykite jį į **ort**, nukopijuokite ort aplanką į onnxruntime-genai - - Naudodami Windows Terminal, eikite į Developer Command Prompt for VS 2022 ir pereikite į onnxruntime-genai. + - Naudodami Windows Terminal pereikite į Developer Command Prompt for VS 2022 ir eikite į onnxruntime-genai -![RESULT](../../../../../../imgs/02/pfonnx/03.png) +![RESULT](../../../../../../translated_images/lt/03.b83ce473d5ff9b9b.webp) - - Kompiliuokite naudodami savo Python aplinką. + - Kompiliuokite jį su savo Python aplinka + ```bash cd onnxruntime-genai @@ -139,5 +153,7 @@ Kopijuokite NVIDIA CUDNN 9.4 lib, bin, include į NVIDIA CUDA 12.4 lib, bin, inc --- -**Atsakomybės apribojimas**: -Šis dokumentas buvo išverstas naudojant AI vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba turėtų būti laikomas autoritetingu šaltiniu. Kritinei informacijai rekomenduojama naudoti profesionalų žmogaus vertimą. Mes neprisiimame atsakomybės už nesusipratimus ar klaidingus interpretavimus, atsiradusius dėl šio vertimo naudojimo. \ No newline at end of file + +**Atsakomybės apribojimas**: +Šis dokumentas buvo išverstas naudojant dirbtinio intelekto vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba laikomas autoritetingu šaltiniu. Svarbiai informacijai rekomenduojama naudoti profesionalų žmogiškąjį vertimą. Mes neatsakome už jokius nesusipratimus ar neteisingą interpretaciją, kilusią naudojantis šiuo vertimu. + \ No newline at end of file diff --git a/translations/lt/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/lt/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 51276ebc6..7d9d0424b 100644 --- a/translations/lt/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/lt/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,59 @@ -# Naudojant Windows GPU sukurti Prompt flow sprendimą su Phi-3.5-Instruct ONNX +# Kaip naudoti Windows GPU kuriant Prompt flow sprendimą su Phi-3.5-Instruct ONNX -Šis dokumentas yra pavyzdys, kaip naudoti PromptFlow su ONNX (Open Neural Network Exchange) kuriant dirbtinio intelekto programas, pagrįstas Phi-3 modeliais. +Šiame dokumente pateikiamas pavyzdys, kaip naudoti PromptFlow su ONNX (Open Neural Network Exchange) kuriant dirbtinio intelekto programas, pagrįstas Phi-3 modeliais. -PromptFlow yra įrankių rinkinys, skirtas supaprastinti visą LLM (Didelių Kalbos Modelių) pagrįstų dirbtinio intelekto programų kūrimo ciklą – nuo idėjų generavimo ir prototipavimo iki testavimo ir vertinimo. +PromptFlow yra įrankių rinkinys, skirtas supaprastinti visą kūrimo ciklą kuriant DI programas, pagrįstas LLM (dideliųjų kalbos modelių), pradedant idėjų kūrimu ir prototipų ruošimu, baigiant testavimu ir vertinimu. -Integruojant PromptFlow su ONNX, kūrėjai gali: +Integruodami PromptFlow su ONNX, kūrėjai gali: -- **Optimizuoti modelio našumą**: Naudoti ONNX efektyviam modelio įvertinimui ir diegimui. -- **Supaprastinti kūrimą**: Naudoti PromptFlow darbo eigai valdyti ir automatizuoti pasikartojančias užduotis. -- **Pagerinti bendradarbiavimą**: Palengvinti komandos narių bendradarbiavimą, suteikiant vieningą kūrimo aplinką. +- Optimizuoti modelio našumą: pasinaudoti ONNX efektyviam modelio prognozavimui ir diegimui. +- Supaprastinti kūrimą: naudoti PromptFlow darbo eigai valdyti ir pasikartojančioms užduotims automatizuoti. +- Pagerinti bendradarbiavimą: sudaryti sąlygas geresniam komandos narių bendradarbiavimui, suteikiant vieningą kūrimo aplinką. -**Prompt flow** yra įrankių rinkinys, skirtas supaprastinti visą LLM pagrįstų dirbtinio intelekto programų kūrimo ciklą – nuo idėjų generavimo, prototipavimo, testavimo, vertinimo iki diegimo ir stebėjimo gamyboje. Jis palengvina promptų kūrimą ir leidžia kurti aukštos kokybės LLM programas. +**Prompt flow** yra įrankių rinkinys, sukurtas supaprastinti visą LLM pagrįstų DI programų kūrimo ciklą — nuo idėjų generavimo, prototipų rengimo, testavimo, vertinimo iki gamybos diegimo ir stebėjimo. Tai žymiai palengvina promptų inžineriją ir leidžia kurti gamybos kokybės LLM programas. -Prompt flow gali prisijungti prie OpenAI, Azure OpenAI Service ir pritaikomų modelių (Huggingface, vietiniai LLM/SLM). Tikimės diegti Phi-3.5 kvantizuotą ONNX modelį vietinėse programose. Prompt flow gali padėti geriau planuoti mūsų verslą ir įgyvendinti vietinius sprendimus, pagrįstus Phi-3.5. Šiame pavyzdyje mes sujungsime ONNX Runtime GenAI biblioteką, kad užbaigtume Prompt flow sprendimą, pagrįstą Windows GPU. +Prompt flow gali jungtis prie OpenAI, Azure OpenAI Service ir pritaikomų modelių (Huggingface, vietiniai LLM/SLM). Tikimės diegti Phi-3.5 kiekybinį ONNX modelį vietinėse programose. Prompt flow padeda geriau planuoti verslą ir įgyvendinti vietinius sprendimus, pagrįstus Phi-3.5. Šiame pavyzdyje sujungsime ONNX Runtime GenAI biblioteką, kad sukurtume Prompt flow sprendimą, naudojant Windows GPU. ## **Įdiegimas** ### **ONNX Runtime GenAI Windows GPU** -Perskaitykite šį vadovą, kaip nustatyti ONNX Runtime GenAI Windows GPU [spauskite čia](./ORTWindowGPUGuideline.md) +Perskaitykite šią instrukciją, kaip nustatyti ONNX Runtime GenAI Windows GPU [paspauskite čia](./ORTWindowGPUGuideline.md) ### **Prompt flow nustatymas VSCode** 1. Įdiekite Prompt flow VS Code plėtinį -![pfvscode](../../../../../../imgs/02/pfonnx/pfvscode.png) +![pfvscode](../../../../../../translated_images/lt/pfvscode.eff93dfc66a42cbe.webp) -2. Po Prompt flow VS Code plėtinio įdiegimo, spustelėkite plėtinį ir pasirinkite **Installation dependencies**, vadovaukitės šiuo vadovu, kad įdiegtumėte Prompt flow SDK savo aplinkoje. +2. Įdiegę Prompt flow VS Code plėtinį, spustelėkite plėtinį ir pasirinkite **Įdiegimo priklausomybės** pagal šią instrukciją įdiekite Prompt flow SDK savo aplinkoje -![pfsetup](../../../../../../imgs/02/pfonnx/pfsetup.png) +![pfsetup](../../../../../../translated_images/lt/pfsetup.b46e93096f5a254f.webp) -3. Atsisiųskite [Pavyzdinį kodą](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ir atidarykite šį pavyzdį naudodami VS Code. +3. Atsisiųskite [pavyzdinį kodą](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ir atidarykite šį pavyzdį VS Code -![pfsample](../../../../../../imgs/02/pfonnx/pfsample.png) +![pfsample](../../../../../../translated_images/lt/pfsample.8d89e70584ffe7c4.webp) -4. Atidarykite **flow.dag.yaml**, kad pasirinktumėte savo Python aplinką. +4. Atidarykite **flow.dag.yaml** ir pasirinkite savo Python aplinką -![pfdag](../../../../../../imgs/02/pfonnx/pfdag.png) +![pfdag](../../../../../../translated_images/lt/pfdag.264a77f7366458ff.webp) - Atidarykite **chat_phi3_ort.py**, kad pakeistumėte Phi-3.5-instruct ONNX modelio vietą. + Atidarykite **chat_phi3_ort.py**, kad pakeistumėte savo Phi-3.5-instruct ONNX modelio vietą -![pfphi](../../../../../../imgs/02/pfonnx/pfphi.png) +![pfphi](../../../../../../translated_images/lt/pfphi.72da81d74244b45f.webp) -5. Paleiskite savo Prompt flow testavimui. +5. Vykdykite savo prompt flow testavimui -Atidarykite **flow.dag.yaml** ir spustelėkite vizualų redaktorių. +Atidarykite **flow.dag.yaml** ir spustelėkite vizualų redaktorių -![pfv](../../../../../../imgs/02/pfonnx/pfv.png) +![pfv](../../../../../../translated_images/lt/pfv.ba8a81f34b20f603.webp) -Po to spustelėkite ir paleiskite testavimui. +paspauskite jį ir paleiskite testavimui -![pfflow](../../../../../../imgs/02/pfonnx/pfflow.png) +![pfflow](../../../../../../translated_images/lt/pfflow.4e1135a089b1ce1b.webp) + +1. Galite vykdyti partijas terminale, kad patikrintumėte daugiau rezultatų -1. Galite paleisti paketą terminale, kad patikrintumėte daugiau rezultatų. ```bash @@ -60,11 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Rezultatus galite peržiūrėti savo numatytoje naršyklėje. +Rezultatus galite peržiūrėti savo numatytojo naršyklėje + -![pfresult](../../../../../../imgs/02/pfonnx/pfresult.png) +![pfresult](../../../../../../translated_images/lt/pfresult.c22c826f8062d7cb.webp) --- -**Atsakomybės apribojimas**: -Šis dokumentas buvo išverstas naudojant AI vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba turėtų būti laikomas autoritetingu šaltiniu. Kritinei informacijai rekomenduojama naudoti profesionalų žmogaus vertimą. Mes neprisiimame atsakomybės už nesusipratimus ar klaidingus interpretavimus, atsiradusius dėl šio vertimo naudojimo. \ No newline at end of file + +**Atsakomybės apribojimas**: +Šis dokumentas buvo išverstas naudojant dirbtinio intelekto vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba laikomas autoritetingu šaltiniu. Svarbiai informacijai rekomenduojama naudoti profesionalų žmogiškąjį vertimą. Mes neatsakome už jokius nesusipratimus ar neteisingą interpretaciją, kilusią naudojantis šiuo vertimu. + \ No newline at end of file diff --git a/translations/lt/md/03.FineTuning/FineTuning_MLX.md b/translations/lt/md/03.FineTuning/FineTuning_MLX.md index 915ade68d..4a1bd6a2e 100644 --- a/translations/lt/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/lt/md/03.FineTuning/FineTuning_MLX.md @@ -1,15 +1,18 @@ -# **Phi-3 derinimas naudojant Apple MLX Framework** +# **Phi-3 tobulinimas naudojant Apple MLX Framework** + +Galime užbaigti tobulinimą kartu su Lora naudodami Apple MLX framework komandinėje eilutėje. (Jei norite sužinoti daugiau apie MLX Framework veikimą, perskaitykite [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)) -Derinimą kartu su Lora galima atlikti naudojant Apple MLX Framework komandų eilutę. (Jei norite sužinoti daugiau apie MLX Framework veikimą, perskaitykite [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md) ## **1. Duomenų paruošimas** -Pagal numatymą MLX Framework reikalauja, kad treniravimo, testavimo ir vertinimo duomenys būtų jsonl formato, ir kartu su Lora užbaigia derinimo užduotis. +Pagal numatytuosius nustatymus, MLX Framework reikalauja treniruočių, testavimo ir įvertinimo duomenų jsonl formatu ir yra derinamas su Lora, kad užbaigtų tobulinimo užduotis. + ### ***Pastaba:*** 1. jsonl duomenų formatas: + ```json {"text": "<|user|>\nWhen were iron maidens commonly used? <|end|>\n<|assistant|> \nIron maidens were never commonly used <|end|>"} @@ -19,15 +22,17 @@ Pagal numatymą MLX Framework reikalauja, kad treniravimo, testavimo ir vertinim ``` -2. Mūsų pavyzdyje naudojami [TruthfulQA duomenys](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv), tačiau duomenų kiekis yra gana nepakankamas, todėl derinimo rezultatai nebūtinai bus geriausi. Rekomenduojama, kad mokiniai naudotų geresnius duomenis, atsižvelgdami į savo scenarijus. +2. Mūsų pavyzdyje naudojami [TruthfulQA duomenys](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv), tačiau duomenų kiekis yra pakankamai mažas, todėl tobulinimo rezultatai nebūtinai bus geriausi. Rekomenduojama besimokantiesiems naudotis geresniais duomenimis, atsižvelgiant į savo scenarijus. + +3. Duomenų formatas suderintas su Phi-3 šablonu -3. Duomenų formatas yra suderintas su Phi-3 šablonu. +Prašome atsisiųsti duomenis iš šios [nuorodos](../../../../code/04.Finetuning/mlx), įtraukite visus .jsonl failus į ***data*** katalogą. -Prašome atsisiųsti duomenis iš šios [nuorodos](../../../../code/04.Finetuning/mlx), įtraukite visus .jsonl į ***data*** aplanką. -## **2. Derinimas terminale** +## **2. Tobulinimas jūsų terminale** + +Prašome paleisti šią komandą terminale -Paleiskite šią komandą terminale: ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` + ## ***Pastaba:*** -1. Tai yra LoRA derinimas, MLX Framework nepalaiko QLoRA. +1. Tai yra LoRA tobulinimas, MLX framework nepalaiko QLoRA + +2. Galite nustatyti config.yaml failą, kad pakeistumėte kai kuriuos argumentus, pavyzdžiui -2. Galite pakeisti config.yaml, kad pakeistumėte kai kuriuos parametrus, pavyzdžiui: ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -Paleiskite šią komandą terminale: +Prašome paleisti šią komandą terminale + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. Derinimo adapterio testavimas** -Galite paleisti derinimo adapterį terminale, pavyzdžiui: +## **3. Tobulinimo adapterio paleidimas testavimui** + +Galite paleisti tobulinimo adapterį terminale, kaip šitai + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -Ir paleisti originalų modelį, kad palygintumėte rezultatus: +ir paleisti pradinį modelį rezultatų palyginimui + ```bash @@ -135,9 +146,11 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -Galite pabandyti palyginti derinimo rezultatus su originaliu modeliu. +Galite pabandyti palyginti tobulinimo rezultatus su pradiniu modeliu + + +## **4. Adapterių sujungimas naujiems modeliams sukurti** -## **4. Adapterių sujungimas naujų modelių generavimui** ```bash @@ -145,9 +158,10 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ``` -## **5. Kvantifikuotų derinimo modelių paleidimas naudojant ollama** +## **5. Kvantinių tobulinimo modelių paleidimas naudojant ollama** + +Prieš naudodami, sukonfigūruokite savo llama.cpp aplinką -Prieš naudojimą, sukonfigūruokite savo llama.cpp aplinką: ```bash @@ -163,11 +177,12 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ***Pastaba:*** -1. Dabar palaikomas fp32, fp16 ir INT 8 kvantifikacijos konvertavimas. +1. Dabar palaikoma konvertavimas į kvantinį formatą fp32, fp16 ir INT 8 -2. Sujungtame modelyje trūksta tokenizer.model, prašome atsisiųsti jį iš https://huggingface.co/microsoft/Phi-3-mini-4k-instruct. +2. Sujungtame modelyje trūksta tokenizer.model, prašome jį atsisiųsti iš https://huggingface.co/microsoft/Phi-3-mini-4k-instruct + +nustatykite [Ollma modelį](https://ollama.com/) -Nustatykite [Ollma Model](https://ollama.com/). ```txt @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -Paleiskite komandą terminale: +paleiskite komandą terminale + ```bash @@ -186,9 +202,11 @@ Paleiskite komandą terminale: ``` -Sveikiname! Jūs įvaldėte derinimą su MLX Framework. +Sveikiname! Valdote tobulinimą su MLX Framework --- -**Atsakomybės apribojimas**: -Šis dokumentas buvo išverstas naudojant AI vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, atkreipkite dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba turėtų būti laikomas autoritetingu šaltiniu. Kritinei informacijai rekomenduojama profesionali žmogaus vertimo paslauga. Mes neprisiimame atsakomybės už nesusipratimus ar klaidingus interpretavimus, atsiradusius dėl šio vertimo naudojimo. \ No newline at end of file + +**Atsakomybės apribojimas**: +Šis dokumentas buvo išverstas naudojant dirbtinio intelekto vertimo paslaugą [Co-op Translator](https://github.com/Azure/co-op-translator). Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba laikomas autoritetingu šaltiniu. Svarbiai informacijai rekomenduojama naudoti profesionalų žmogiškąjį vertimą. Mes neatsakome už jokius nesusipratimus ar neteisingą interpretaciją, kilusią naudojantis šiuo vertimu. + \ No newline at end of file diff --git a/translations/mr/.co-op-translator.json b/translations/mr/.co-op-translator.json index 65604b34b..43fc2b24d 100644 --- a/translations/mr/.co-op-translator.json +++ b/translations/mr/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:18:19+00:00", + "translation_date": "2026-07-29T17:01:01+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "mr" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:41:34+00:00", + "translation_date": "2026-07-29T17:01:47+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "mr" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:59:01+00:00", + "translation_date": "2026-07-29T17:01:21+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "mr" }, diff --git a/translations/mr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/mr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index e93141990..fad3fe715 100644 --- a/translations/mr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/mr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Phi-3.5 चे क्वांटायझेशन करण्यासाठी Model Builder कसा वापरायचा** +# **onnxruntime साठी Generative AI विस्तारांचा वापर करून Phi कुटुंबाचे क्वांटायझेशन** -Model Builder आता Phi-3.5 Instruct आणि Phi-3.5-Vision साठी ONNX मॉडेल क्वांटायझेशनला समर्थन देतो. +## **onnxruntime साठी Generative AI विस्तार म्हणजे काय** + +हे विस्तार तुम्हाला ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) सह Generative AI चालविण्यात मदत करतात. हे ONNX मॉडेल्ससाठी generative AI लूप प्रदान करते, ज्यामध्ये ONNX Runtime सह इन्फरन्स, logits प्रक्रिया, शोध व सैम्पलिंग, आणि KV कॅश व्यवस्थापन यांचा समावेश आहे. विकसक उच्च स्तराचा generate() मेथड कॉल करू शकतात, किंवा मॉडेलच्या प्रत्येक पुनरावृत्तीमध्ये वेगवेगळ्या टोकनसाठी एक एक करून टोकन तयार करू शकतात, आणि पर्यायीपणे लूपमध्ये जनरेशन पॅरामीटर्स अपडेट करू शकतात. यात greedy/beam शोध व TopP, TopK सैम्पलिंगचा समर्थन आहे ज्या टोकन साखळ्या तयार करतात आणि पुनरावृत्ती दंडासारख्या अंतर्निर्मित logits प्रक्रियेचे समर्थन आहे. तुम्ही सहजपणे सानुकूल स्कोरिंग देखील जोडू शकता. + +अनुप्रयोगस्तरावर, तुम्ही C++ / C# / Python वापरून onnxruntime साठी Generative AI विस्तार वापरून अनुप्रयोग तयार करू शकता. मॉडेल स्तरावर, तुम्ही हे वापरून फाईन-ट्यून केलेल्या मॉडेल्स मर्ज करू शकता आणि संबंधित मात्रात्मक वितरणाचे काम करू शकता. + + +## **onnxruntime साठी Generative AI विस्तार वापरून Phi-3.5 चे क्वांटायझेशन** + +### **समर्थित मॉडेल्स** + +onnxruntime साठी Generative AI विस्तार Microsoft Phi, Google Gemma, Mistral, Meta LLaMA यांच्या क्वांटायझेशन रूपांतरणाचे समर्थन करतात. + + +### **onnxruntime साठी Generative AI विस्तारमधील मॉडेल बिल्डर** + +मॉडेल बिल्डर OPTIMIZED आणि QUANTIZED ONNX मॉडेल्स तयार करण्याची प्रक्रिया मोठ्या प्रमाणावर वेगवान करते ज्यांचा वापर ONNX Runtime generate() API सोबत होऊ शकतो. + +मॉडेल बिल्डरच्या माध्यमातून, तुम्ही मॉडेलचे INT4, INT8, FP16, FP32 मध्ये क्वांटायझेशन करू शकता, आणि CPU, CUDA, DirectML, Mobile इत्यादी हॅर्डवेअर वेगवेगळ्या प्रमाणीकरण पद्धती एकत्र करू शकता. + +मॉडेल बिल्डर वापरण्यासाठी तुम्हाला खालील प्रमाणे स्थापित करावे लागेल + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +प्रतिष्ठापनानंतर, तुम्ही टर्मिनलवरून मॉडेल बिल्डर स्क्रिप्ट चालवून मॉडेल फॉरमॅट आणि क्वांटायझेशन रूपांतरण करू शकता. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +संबंधित पॅरामीटर्स समजून घ्या + +1. **model_name** हे Hugging Face वरील मॉडेल आहे, जसे microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct इत्यादी. हे तुम्ही जतन केलेल्या मॉडेलचा मार्ग देखील असू शकतो + +2. **path_to_output_folder** क्वांटायझेशन रूपांतरण जतन करण्याचा मार्ग + +3. **execution_provider** वेगवेगळ्या हॅर्डवेअर वेगासाठी समर्थन, जसे cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** आम्ही Hugging Face वरून मॉडेल डाउनलोड करतो आणि ते स्थानिकरीत्या कॅश करतो + + + + +***टीप：*** + +## **Phi-3.5 चे क्वांटायझेशन करण्यासाठी मॉडेल बिल्डर कसा वापरावा** + +मॉडेल बिल्डर आता Phi-3.5 Instruct आणि Phi-3.5-Vision साठी ONNX मॉडेल क्वांटायझेशन समर्थन करतो ### **Phi-3.5-Instruct** -**CPU द्वारे क्वांटाइज्ड INT4 चे जलद रूपांतरण** + +**CPU-द्वारे जलद केलेले क्वांटाइझ्ड INT 4 रूपांतरण** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA द्वारे क्वांटाइज्ड INT4 चे जलद रूपांतरण** +**CUDA-ने जलद केलेले क्वांटाइझ्ड INT 4 रूपांतरण** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. microsoft/Phi-3.5-vision-instruct मॉडेल फोल्डरमध्ये डाउनलोड करा +2. models फोल्डरमध्ये microsoft/Phi-3.5-vision-instruct डाउनलोड करा [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. कृपया खालील फाइल्स आपल्या Phi-3.5-vision-instruct फोल्डरमध्ये डाउनलोड करा +3. कृपया ही फाइल्स आपल्या Phi-3.5-vision-instruct फोल्डरमध्ये डाउनलोड करा - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. ही फाइल models फोल्डरमध्ये डाउनलोड करा + +4. ही फाइल models फोल्डरमध्ये डाउनलोड करा [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. टर्मिनलमध्ये जा +5. टर्मिनलवर जा FP32 सह ONNX समर्थन रूपांतरण करा + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` + ### **टीप：** -1. Model Builder सध्या Phi-3.5-Instruct आणि Phi-3.5-Vision चे रूपांतरण समर्थित करतो, पण Phi-3.5-MoE चे नाही. +1. मॉडेल बिल्डर सध्या Phi-3.5-Instruct आणि Phi-3.5-Vision चे रूपांतरण समर्थन करतो, परंतु Phi-3.5-MoE चे नाही + +2. ONNX च्या क्वांटाइज्ड मॉडेलचा वापर Generative AI विस्तारांसह onnxruntime SDK द्वारे केला जाऊ शकतो + +3. आम्हाला अधिक जबाबदार AI विचारात घ्यावा लागतो, म्हणून मॉडेल क्वांटायझेशन रूपांतरणानंतर अधिक प्रभावी परिणाम चाचणी करणे शिफारसीय आहे -2. ONNX चे क्वांटाइज्ड मॉडेल वापरण्यासाठी, तुम्ही Generative AI extensions for onnxruntime SDK वापरू शकता. +4. CPU INT4 मॉडेल क्वांटायझेशन करून ते एज डिव्हाइसवर तैनात करू शकतो, ज्याचे अनुप्रयोग दृश्य चांगले आहेत. त्यामुळे Phi-3.5-Instruct जवळजवळ INT4 पर्यंत पूर्ण केले आहे -3. अधिक जबाबदार AI साठी, मॉडेल क्वांटायझेशन नंतर अधिक प्रभावी निकालांची चाचणी करणे शिफारसीय आहे. -4. CPU INT4 मॉडेल क्वांटायझेशन करून, आपण ते Edge Device वर तैनात करू शकतो, ज्यामुळे अधिक चांगले अनुप्रयोग परिस्थिती निर्माण होतात; म्हणून Phi-3.5-Instruct साठी INT4 चा वापर पूर्ण केला आहे. +## **स्रोत** -## **संसाधने** +1. onnxruntime साठी Generative AI विस्तारांविषयी अधिक जाणून घ्या [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. Generative AI extensions for onnxruntime बद्दल अधिक जाणून घ्या [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntime साठी Generative AI विस्तार GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub रेपो [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**अस्वीकरण**: -हा दस्तऐवज AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) वापरून अनुवादित केला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात घ्या की स्वयंचलित अनुवादांमध्ये चुका किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या स्थानिक भाषेत अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी अनुवाद करण्याची शिफारस केली जाते. या अनुवादाच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमजुती किंवा चुकीच्या अर्थलागी आम्ही जबाबदार नाही. \ No newline at end of file + +**अस्वीकरण**: +हा दस्तऐवज AI भाषांतर सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) चा वापर करून अनुवादित केला आहे. जरी आम्ही अचूकतेसाठी प्रयत्न करतो, तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या मूळ भाषेत अधिकृत स्रोत मानला पाहिजे. महत्त्वाची माहिती असल्यास, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थलावणीसाठी आम्ही जबाबदार नाही. + \ No newline at end of file diff --git a/translations/mr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/mr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index f0fe641f4..d905c431b 100644 --- a/translations/mr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/mr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **OnnxRuntime GenAI Windows GPU साठी मार्गदर्शक** +# **OnnxRuntime GenAI Windows GPU साठी मार्गदर्शक तत्त्वे** -हा मार्गदर्शक Windows वर GPU सह ONNX Runtime (ORT) सेटअप आणि वापरण्याच्या पायऱ्या देतो. यामुळे तुम्हाला तुमच्या मॉडेलसाठी GPU वेग वाढवण्याचा फायदा घेता येईल, ज्यामुळे कामगिरी आणि कार्यक्षमता सुधारेल. +हा मार्गदर्शक Windows वरील GPUs सह ONNX Runtime (ORT) सेटअप करण्याच्या आणि वापरण्याच्या स्टेप्स पुरवतो. आपले मॉडेल्ससाठी GPU एक्सलेरेशनचा लाभ घेण्यास हा तयार केला गेला आहे, ज्यामुळे कामगिरी आणि कार्यक्षमता सुधारते. -हे दस्तऐवज खालील बाबींवर मार्गदर्शन करतो: +हा दस्तऐवज खालील मार्गदर्शन पुरवतो: -- पर्यावरण सेटअप: CUDA, cuDNN आणि ONNX Runtime सारख्या आवश्यक अवलंबनांची स्थापना कशी करावी याचे निर्देश. -- कॉन्फिगरेशन: GPU संसाधने प्रभावीपणे वापरण्यासाठी पर्यावरण आणि ONNX Runtime कसे कॉन्फिगर करावे. -- ऑप्टिमायझेशन टिप्स: सर्वोत्तम कामगिरीसाठी GPU सेटिंग्ज कशा सुधाराव्यात याबाबत सल्ला. +- पर्यावरण सेटअप: CUDA, cuDNN आणि ONNX Runtime सारख्या आवश्यक अवलंबनीयांच्या प्रतिष्ठापनावर सूचना. +- कॉन्फिगरेशन: GPU स्रोतांचा प्रभावी वापर करण्यासाठी पर्यावरण आणि ONNX Runtime कसे कॉन्फिगर करायचे. +- ऑप्टिमायझेशन टिप्स: सर्वोत्तम कामगिरीसाठी आपल्या GPU सेटिंग्ज कसे बरीचशी ठीक करायची यावर सल्ला. ### **1. Python 3.10.x /3.11.8** - ***Note*** तुमच्या Python पर्यावरणासाठी [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) वापरण्याचा सल्ला दिला आहे + ***टीप*** आपले Python पर्यावरण म्हणून [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) वापरण्याचा सल्ला दिला जातो ```bash @@ -20,9 +20,10 @@ ``` - ***Reminder*** जर तुम्ही Python ONNX लायब्ररी आधीच इन्स्टॉल केली असेल तर ती अनइन्स्टॉल करा + ***स्मरणपत्र*** आपण Python ONNX लायब्ररी स्थापित केली असल्यास, कृपया ती अनइंस्टॉल करा + +### **2. winget ने CMake स्थापित करा** -### **2. winget वापरून CMake इन्स्टॉल करा** ```bash @@ -30,34 +31,37 @@ ``` -### **3. Visual Studio 2022 - Desktop Development with C++ इन्स्टॉल करा** +### **3. Visual Studio 2022 - C++ सह डेस्कटॉप विकास स्थापित करा** - ***Note*** जर तुम्हाला कंपाईल करायचे नसेल तर हा टप्पा वगळू शकता + ***टीप*** आपण संकलित करू इच्छित नसल्यास हा टप्पा वगळू शकता ![CPP](../../../../../../translated_images/mr/01.42f52a2b2aedff02.webp) -### **4. NVIDIA ड्रायव्हर इन्स्टॉल करा** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. NVIDIA ड्रायव्हर स्थापित करा** + +1. **NVIDIA GPU ड्रायव्हर** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** इन्स्टॉलेशन प्रक्रियेत डीफॉल्ट सेटिंग्ज वापरा +***स्मरणपत्र*** कृपया प्रतिष्ठापन प्रक्रियेसह डीफॉल्ट सेटिंग्ज वापरा ### **5. NVIDIA पर्यावरण सेट करा** -NVIDIA CUDNN 9.4 च्या lib, bin, include फोल्डरमधील फायली NVIDIA CUDA 12.4 च्या lib, bin, include मध्ये कॉपी करा +NVIDIA CUDNN 9.4 lib,bin,include फाइल्स NVIDIA CUDA 12.4 lib,bin,include मध्ये कॉपी करा -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* मधील फायली *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* मध्ये कॉपी करा +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* फाइल्स *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* मध्ये कॉपी करा -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* मधील फायली *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* मध्ये कॉपी करा +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* फाइल्स *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* मध्ये कॉपी करा + +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* फाइल्स *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* मध्ये कॉपी करा -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* मधील फायली *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* मध्ये कॉपी करा ### **6. Phi-3.5-mini-instruct-onnx डाउनलोड करा** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ NVIDIA CUDNN 9.4 च्या lib, bin, include फोल्डरमधील ### **7. InferencePhi35Instruct.ipynb चालवा** - [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) उघडा आणि चालवा + [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) उघडा आणि चालवा + ![RESULT](../../../../../../translated_images/mr/02.b9b06996cf7255d5.webp) -### **8. ORT GenAI GPU कंपाईल करा** - ***Note*** +### **8. ORT GenAI GPU संकलित करा** + + + ***टीप*** - 1. सर्व onnx, onnxruntime आणि onnxruntime-genai आधी अनइन्स्टॉल करा + 1. कृपया प्रथम सर्व onnx, onnxruntime व onnxruntime-genai अनइंस्टॉल करा + ```bash pip list ``` - नंतर सर्व onnxruntime लायब्ररी अनइन्स्टॉल करा, उदा. + नंतर सर्व onnxruntime लायब्ररी अनइंस्टॉल करा उदा. + ```bash @@ -100,13 +109,17 @@ NVIDIA CUDNN 9.4 च्या lib, bin, include फोल्डरमधील ``` - 2. Visual Studio Extension सपोर्ट तपासा + 2. Visual Studio विस्तार समर्थन तपासा + + C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras मध्ये तपासा की C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration आहे का. + + आढळले नाही तर इतर CUDA टूलकिट ड्रायव्हर फोल्डर तपासा आणि visual_studio_integration फोल्डर आणि त्याचा सामग्री C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration मध्ये कॉपी करा + - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras मध्ये जाऊन तपासा की C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration आहे का. - नसेल तर इतर CUDA toolkit ड्रायव्हर फोल्डरमध्ये तपासा आणि visual_studio_integration फोल्डर आणि त्यातील फायली C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration मध्ये कॉपी करा - - जर तुम्हाला कंपाईल करायचे नसेल तर हा टप्पा वगळू शकता + - आपण संकलित करू इच्छित नसाल तर हा टप्पा वगळा + ```bash @@ -116,14 +129,15 @@ NVIDIA CUDNN 9.4 च्या lib, bin, include फोल्डरमधील - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) डाउनलोड करा - - onnxruntime-win-x64-gpu-1.19.2.zip अनझिप करा, त्याचे नाव **ort** असे बदला आणि ort फोल्डर onnxruntime-genai मध्ये कॉपी करा + - onnxruntime-win-x64-gpu-1.19.2.zip अनझिप करा, आणि त्याला **ort** असे नाव द्या, ort फोल्डर onnxruntime-genai मध्ये कॉपी करा - - Windows Terminal वापरून Developer Command Prompt for VS 2022 मध्ये जा आणि onnxruntime-genai फोल्डरमध्ये जा + - Windows Terminal वापरून, VS 2022 साठी Developer Command Prompt मध्ये जा आणि onnxruntime-genai मध्ये जा ![RESULT](../../../../../../translated_images/mr/03.b83ce473d5ff9b9b.webp) - - तुमच्या Python पर्यावरणासह ते कंपाईल करा + - आपले Python पर्यावरण वापरून ते संकलित करा + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ NVIDIA CUDNN 9.4 च्या lib, bin, include फोल्डरमधील ``` -**अस्वीकरण**: -हा दस्तऐवज AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) वापरून अनुवादित केला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात घ्या की स्वयंचलित अनुवादांमध्ये चुका किंवा अचूकतेचा अभाव असू शकतो. मूळ दस्तऐवज त्याच्या स्थानिक भाषेत अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी अनुवाद करण्याची शिफारस केली जाते. या अनुवादाच्या वापरामुळे उद्भवलेल्या कोणत्याही गैरसमजुती किंवा चुकीच्या अर्थलागी आम्ही जबाबदार नाही. \ No newline at end of file +--- + + +**अस्वीकरण**: +हा दस्तऐवज AI भाषांतर सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) चा वापर करून अनुवादित केला आहे. जरी आम्ही अचूकतेसाठी प्रयत्न करतो, तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या मूळ भाषेत अधिकृत स्रोत मानला पाहिजे. महत्त्वाची माहिती असल्यास, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थलावणीसाठी आम्ही जबाबदार नाही. + \ No newline at end of file diff --git a/translations/mr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/mr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 1e1ae0a93..ce4c1354c 100644 --- a/translations/mr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/mr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,59 @@ -# Windows GPU वापरून Phi-3.5-Instruct ONNX सह Prompt flow सोल्यूशन तयार करणे +# Phi-3.5-Instruct ONNX सह Windows GPU वापरून Prompt flow सोल्युशन तयार करणे -खालील दस्तऐवज हे Phi-3 मॉडेल्सवर आधारित AI अॅप्लिकेशन्स विकसित करण्यासाठी ONNX (Open Neural Network Exchange) सह PromptFlow कसे वापरायचे याचे उदाहरण आहे. +खालील दस्तऐवज हे Phi-3 मॉडेल्सवर आधारित AI अनुप्रयोग विकसित करण्यासाठी ONNX (Open Neural Network Exchange) सह PromptFlow कसे वापरायचे याचे उदाहरण आहे. -PromptFlow ही LLM-आधारित (Large Language Model) AI अॅप्लिकेशन्सच्या संपूर्ण विकास चक्राला सुलभ करण्यासाठी तयार केलेली विकास साधनांची एक मालिका आहे, ज्यात कल्पना मांडणे, प्रोटोटायपिंग, चाचणी आणि मूल्यमापन यांचा समावेश आहे. +PromptFlow हा LLM-आधारित (Large Language Model) AI अनुप्रयोगांच्या संपूर्ण विकास चक्राला सुलभ करण्यासाठी डिझाइन केलेल्या विकास साधनांचा संच आहे, ज्यामध्ये कल्पना निर्माण, प्रोटोटायपिंग, चाचणी आणि मूल्यमापन यांचा समावेश आहे. -PromptFlow ला ONNX सह एकत्र करून, विकासक हे करू शकतात: +PromptFlow सह ONNX एकत्रित करून, विकासक खालील गोष्टी करू शकतात: -- मॉडेल कार्यक्षमता सुधारित करा: ONNX चा वापर करून मॉडेल इन्फरन्स आणि डिप्लॉयमेंट अधिक कार्यक्षम करा. -- विकास सुलभ करा: PromptFlow वापरून वर्कफ्लो व्यवस्थापित करा आणि पुनरावृत्ती होणाऱ्या कामांना स्वयंचलित करा. -- सहकार्य वाढवा: एकसंध विकास वातावरण प्रदान करून टीम सदस्यांमधील सहकार्य सुधारित करा. +- मॉडेल कामगिरी सुधारित करा: कार्यक्षम मॉडेल सूचक आणि तैनातीसाठी ONNX वापरा. +- विकास सुलभ करा: वर्कफ्लो व्यवस्थापित करण्यासाठी आणि पुनरावृत्त कामे स्वयंचलित करण्यासाठी PromptFlow वापरा. +- सहकार्य वाढवा: एकसंध विकास पर्यावरण प्रदान करून संघ सदस्यांमध्ये चांगले सहकार्य सुलभ करा. -**Prompt flow** ही LLM-आधारित AI अॅप्लिकेशन्सच्या संपूर्ण विकास चक्राला सुलभ करण्यासाठी तयार केलेली विकास साधनांची मालिका आहे, ज्यात कल्पना मांडणे, प्रोटोटायपिंग, चाचणी, मूल्यमापन, उत्पादन डिप्लॉयमेंट आणि मॉनिटरिंग यांचा समावेश आहे. हे prompt engineering खूप सोपे करते आणि तुम्हाला उत्पादन दर्जाच्या LLM अॅप्स तयार करण्यास मदत करते. +**Prompt flow** हा LLM-आधारित AI अनुप्रयोगांच्या संपूर्ण विकास चक्राला सुलभ करण्यासाठी डिझाइन केलेल्या विकास साधनांचा संच आहे, ज्यामध्ये कल्पना, प्रोटोटायपिंग, चाचणी, मूल्यमापन, उत्पादन तैनाती आणि देखरेख यांचा समावेश आहे. हे प्रॉम्प्ट अभियांत्रिकी खूप सोपे करते आणि तुम्हाला उत्पादन दर्जाच्या LLM अनुप्रयोगांची निर्मिती करण्यास सक्षम करते. -Prompt flow OpenAI, Azure OpenAI Service, आणि सानुकूल मॉडेल्स (Huggingface, स्थानिक LLM/SLM) शी कनेक्ट होऊ शकते. आम्हाला Phi-3.5 चा क्वांटाइज्ड ONNX मॉडेल स्थानिक अॅप्लिकेशन्समध्ये डिप्लॉय करायचा आहे. Prompt flow आम्हाला आमचा व्यवसाय चांगल्या प्रकारे नियोजित करण्यात आणि Phi-3.5 आधारित स्थानिक सोल्यूशन्स पूर्ण करण्यात मदत करू शकतो. या उदाहरणात, Windows GPU वर आधारित Prompt flow सोल्यूशन पूर्ण करण्यासाठी ONNX Runtime GenAI लायब्ररी एकत्रित केली जाईल. +Prompt flow OpenAI, Azure OpenAI सेवा, आणि सानुकूलित मॉडेल्स (Huggingface, स्थानिक LLM/SLM) शी कनेक्ट होऊ शकते. आम्हाला Phi-3.5 चा क्uantized ONNX मॉडेल स्थानिक अनुप्रयोगांमध्ये तैनात करायचा आहे. Prompt flow आम्हाला आमचा व्यवसाय चांगल्या प्रकारे नियोजित करण्यात आणि Phi-3.5 आधारित स्थानिक सोल्युशन्स पूर्ण करण्यात मदत करू शकतो. या उदाहरणात, Windows GPU वर आधारित Prompt flow सोल्युशन पूर्ण करण्यासाठी ONNX Runtime GenAI लायब्ररी एकत्र केली जाईल. ## **इंस्टॉलेशन** ### **Windows GPU साठी ONNX Runtime GenAI** -Windows GPU साठी ONNX Runtime GenAI सेट करण्यासाठी हा मार्गदर्शक वाचा [click here](./ORTWindowGPUGuideline.md) +Windows GPU साठी ONNX Runtime GenAI सेट करण्यासाठी या मार्गदर्शिकेचा वाचन करा [येथे क्लिक करा](./ORTWindowGPUGuideline.md) -### **VSCode मध्ये Prompt flow सेटअप करा** +### **VSCode मध्ये Prompt flow सेट अप करा** -1. Prompt flow VS Code Extension इंस्टॉल करा +1. Prompt flow VS Code विस्तार इंस्टॉल करा ![pfvscode](../../../../../../translated_images/mr/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code Extension इंस्टॉल केल्यानंतर, एक्सटेंशनवर क्लिक करा आणि **Installation dependencies** निवडा, या मार्गदर्शकानुसार तुमच्या पर्यावरणात Prompt flow SDK इंस्टॉल करा +2. Prompt flow VS Code विस्तार इंस्टॉल केल्यानंतर, विस्तार क्लिक करा, आणि **Installation dependencies** निवडून या मार्गदर्शिकेनुसार तुमच्या पर्यावरणात Prompt flow SDK इंस्टॉल करा ![pfsetup](../../../../../../translated_images/mr/pfsetup.b46e93096f5a254f.webp) -3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) डाउनलोड करा आणि VS Code मध्ये हा सॅम्पल उघडा +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) डाउनलोड करा आणि VS Code मध्ये हा नमुना उघडा ![pfsample](../../../../../../translated_images/mr/pfsample.8d89e70584ffe7c4.webp) -4. तुमचे Python पर्यावरण निवडण्यासाठी **flow.dag.yaml** उघडा +4. **flow.dag.yaml** उघडा आणि तुमचे Python पर्यावरण निवडा ![pfdag](../../../../../../translated_images/mr/pfdag.264a77f7366458ff.webp) - तुमचा Phi-3.5-instruct ONNX मॉडेल स्थान बदलण्यासाठी **chat_phi3_ort.py** उघडा + **chat_phi3_ort.py** उघडा आणि तुमच्या Phi-3.5-instruct ONNX मॉडेलचे स्थान बदला ![pfphi](../../../../../../translated_images/mr/pfphi.72da81d74244b45f.webp) 5. तुमचा prompt flow चाचणीसाठी चालवा -**flow.dag.yaml** उघडा आणि visual editor वर क्लिक करा +**flow.dag.yaml** उघडा आणि visual editor क्लिक करा ![pfv](../../../../../../translated_images/mr/pfv.ba8a81f34b20f603.webp) -यानंतर क्लिक करा आणि चाचणीसाठी चालवा +यावर क्लिक करा आणि चालवून चाचणी करा ![pfflow](../../../../../../translated_images/mr/pfflow.4e1135a089b1ce1b.webp) -1. अधिक निकाल तपासण्यासाठी टर्मिनलमध्ये बॅच चालवू शकता +1. अधिक परिणाम तपासण्यासाठी टर्मिनलमध्ये बॅच चालवू शकता + ```bash @@ -60,9 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -तुम्ही तुमच्या डीफॉल्ट ब्राउझरमध्ये निकाल पाहू शकता +तुम्ही तुमच्या डिफॉल्ट ब्राउझरमध्ये निकाल तपासू शकता + ![pfresult](../../../../../../translated_images/mr/pfresult.c22c826f8062d7cb.webp) -**अस्वीकरण**: -हा दस्तऐवज AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) वापरून अनुवादित केला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात घ्या की स्वयंचलित अनुवादांमध्ये चुका किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या स्थानिक भाषेत अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी अनुवाद शिफारसीय आहे. या अनुवादाच्या वापरामुळे उद्भवलेल्या कोणत्याही गैरसमजुती किंवा चुकीच्या अर्थलागी आम्ही जबाबदार नाही. \ No newline at end of file +--- + + +**अस्वीकरण**: +हा दस्तऐवज AI भाषांतर सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) चा वापर करून अनुवादित केला आहे. जरी आम्ही अचूकतेसाठी प्रयत्न करतो, तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या मूळ भाषेत अधिकृत स्रोत मानला पाहिजे. महत्त्वाची माहिती असल्यास, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थलावणीसाठी आम्ही जबाबदार नाही. + \ No newline at end of file diff --git a/translations/ms/.co-op-translator.json b/translations/ms/.co-op-translator.json index 01a721cd2..1f68de1a9 100644 --- a/translations/ms/.co-op-translator.json +++ b/translations/ms/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:24:07+00:00", + "translation_date": "2026-07-29T17:07:42+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ms" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:45:43+00:00", + "translation_date": "2026-07-29T17:08:23+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ms" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:02:25+00:00", + "translation_date": "2026-07-29T17:07:57+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ms" }, diff --git a/translations/ms/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ms/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 080fad3bf..0fa543fc3 100644 --- a/translations/ms/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ms/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Cara menggunakan Model Builder untuk mengkuantisasi Phi-3.5** +# **Mengkuantifikasi Keluarga Phi menggunakan peluasan Generative AI untuk onnxruntime** -Model Builder kini menyokong kuantisasi model ONNX untuk Phi-3.5 Instruct dan Phi-3.5-Vision +## **Apa itu peluasan Generative AI untuk onnxruntime** + +Peluasan ini membantu anda menjalankan generatif AI dengan ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Ia menyediakan gelung generatif AI untuk model ONNX, termasuk inferens dengan ONNX Runtime, pemprosesan logit, pencarian dan pensampelan, serta pengurusan cache KV. Pembangun boleh memanggil kaedah generate() tahap tinggi, atau menjalankan setiap iterasi model dalam gelung, menjana satu token pada satu masa, dan secara pilihan mengemas kini parameter generasi di dalam gelung. Ia menyokong carian tamak/celah rasuk dan pensampelan TopP, TopK untuk menjana urutan token dan pemprosesan logit terbina dalam seperti penalti pengulangan. Anda juga boleh mudah menambah penilaian khas. + +Pada peringkat aplikasi, anda boleh menggunakan peluasan Generative AI untuk onnxruntime untuk membina aplikasi menggunakan C++/ C# / Python. Pada peringkat model, anda boleh menggunakannya untuk menggabungkan model yang telah disesuaikan dan melakukan kerja pengeluaran kuantitatif berkaitan. + + +## **Mengkuantifikasi Phi-3.5 dengan peluasan Generative AI untuk onnxruntime** + +### **Model yang Disokong** + +Peluasan Generative AI untuk onnxruntime menyokong penukaran kuantisasi Microsoft Phi, Google Gemma, Mistral, Meta LLaMA。 + + +### **Pembina Model dalam peluasan Generative AI untuk onnxruntime** + +Pembina model mempercepat dengan ketara penciptaan model ONNX yang dioptimumkan dan dikuantisasi yang berjalan dengan API generate() ONNX Runtime. + +Melalui Pembina Model, anda boleh mengkuantisasi model ke INT4, INT8, FP16, FP32, dan menggabungkan pelbagai kaedah pecutan perkakasan seperti CPU, CUDA, DirectML, Mudah Alih, dan lain-lain. + +Untuk menggunakan Pembina Model, anda perlu memasang + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Selepas pemasangan, anda boleh menjalankan skrip Pembina Model dari terminal untuk melakukan penukaran format model dan kuantisasi. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Fahami parameter yang berkaitan + +1. **model_name** Ini adalah model di Hugging face, seperti microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, dsb. Ia juga boleh menjadi jalan di mana anda menyimpan model + +2. **path_to_output_folder** Laluan simpanan penukaran kuantisasi + +3. **execution_provider** Sokongan pecutan perkakasan berbeza, seperti cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Kami memuat turun model dari Hugging face dan menyimpannya di cache secara tempatan + + + + +***Nota：*** + +## **Cara menggunakan Pembina Model untuk mengkuantifikasi Phi-3.5** + +Pembina Model kini menyokong kuantisasi model ONNX untuk Phi-3.5 Instruct dan Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Penukaran kuantisasi INT 4 dipercepatkan oleh CPU** + +**Penukaran dipercepat CPU bagi INT 4 yang dikuantisasi** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Penukaran kuantisasi INT 4 dipercepatkan oleh CUDA** +**Penukaran dipercepat CUDA bagi INT 4 yang dikuantisasi** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Tetapkan persekitaran di terminal +1. Tetapkan persekitaran dalam terminal ```bash @@ -40,7 +101,7 @@ cd models ``` -2. Muat turun microsoft/Phi-3.5-vision-instruct ke dalam folder models +2. Muat turun microsoft/Phi-3.5-vision-instruct dalam folder model [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Sila muat turun fail-fail ini ke folder Phi-3.5-vision-instruct anda @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Muat turun fail ini ke dalam folder models + +4. Muat turun fail ini ke folder model [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Pergi ke terminal Tukar sokongan ONNX dengan FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` + ### **Nota：** -1. Model Builder kini menyokong penukaran Phi-3.5-Instruct dan Phi-3.5-Vision, tetapi tidak untuk Phi-3.5-MoE +1. Pembina Model kini menyokong penukaran bagi Phi-3.5-Instruct dan Phi-3.5-Vision, tetapi bukan Phi-3.5-MoE -2. Untuk menggunakan model kuantisasi ONNX, anda boleh menggunakannya melalui Generative AI extensions for onnxruntime SDK +2. Untuk menggunakan model kuantisasi ONNX, anda boleh menggunakannya melalui SDK peluasan Generative AI untuk onnxruntime -3. Kita perlu mengambil kira AI yang lebih bertanggungjawab, jadi selepas penukaran kuantisasi model, disarankan untuk melakukan ujian hasil yang lebih berkesan +3. Kita perlu mempertimbangkan AI yang lebih bertanggungjawab, jadi selepas penukaran kuantisasi model, disarankan melakukan ujian hasil yang lebih berkesan + +4. Dengan mengkuantifikasi model CPU INT4, kita boleh menyebarkannya ke Peranti Edge, yang mempunyai senario aplikasi yang lebih baik, jadi kita telah menyiapkan Phi-3.5-Instruct sekitar INT 4 -4. Dengan mengkuantisasi model CPU INT4, kita boleh melaksanakan pada Peranti Edge, yang mempunyai senario aplikasi yang lebih baik, jadi kami telah menyiapkan Phi-3.5-Instruct sekitar INT 4 ## **Sumber** -1. Ketahui lebih lanjut mengenai Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Ketahui lebih lanjut mengenai peluasan Generative AI untuk onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repositori GitHub peluasan Generative AI untuk onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repositori GitHub Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Penafian**: -Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan profesional oleh manusia adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan oleh manusia profesional adalah disyorkan. Kami tidak bertanggungjawab terhadap sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. + \ No newline at end of file diff --git a/translations/ms/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ms/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 4e55ecda9..534de7ef2 100644 --- a/translations/ms/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ms/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Garis Panduan untuk OnnxRuntime GenAI Windows GPU** -Garis panduan ini menyediakan langkah-langkah untuk memasang dan menggunakan ONNX Runtime (ORT) dengan GPU di Windows. Ia direka untuk membantu anda memanfaatkan pecutan GPU bagi model anda, meningkatkan prestasi dan kecekapan. +Garis panduan ini menyediakan langkah-langkah untuk menyediakan dan menggunakan ONNX Runtime (ORT) dengan GPU pada Windows. Ia direka untuk membantu anda menggunakan pemajuan GPU untuk model anda, meningkatkan prestasi dan kecekapan. Dokumen ini memberikan panduan mengenai: -- Persediaan Persekitaran: Arahan untuk memasang kebergantungan yang diperlukan seperti CUDA, cuDNN, dan ONNX Runtime. -- Konfigurasi: Cara mengkonfigurasi persekitaran dan ONNX Runtime untuk menggunakan sumber GPU dengan berkesan. -- Petua Pengoptimuman: Nasihat tentang cara menyesuaikan tetapan GPU anda untuk prestasi yang optimum. +- Penyediaan Persekitaran: Arahan untuk memasang kebergantungan yang diperlukan seperti CUDA, cuDNN, dan ONNX Runtime. +- Konfigurasi: Cara mengkonfigurasi persekitaran dan ONNX Runtime untuk menggunakan sumber GPU dengan efektif. +- Petua Pengoptimuman: Nasihat tentang cara menyesuaikan tetapan GPU anda untuk prestasi optimum. ### **1. Python 3.10.x /3.11.8** - ***Nota*** Disarankan menggunakan [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) sebagai persekitaran Python anda + ***Nota*** Disyorkan menggunakan [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) sebagai persekitaran Python anda ```bash @@ -20,10 +20,11 @@ Dokumen ini memberikan panduan mengenai: ``` - ***Peringatan*** Jika anda telah memasang mana-mana perpustakaan ONNX untuk Python, sila nyahpasangnya + ***Peringatan*** Jika anda telah memasang mana-mana perpustakaan python ONNX, sila nyahpasangnya ### **2. Pasang CMake dengan winget** + ```bash winget install -e --id Kitware.CMake @@ -36,28 +37,31 @@ Dokumen ini memberikan panduan mengenai: ![CPP](../../../../../../translated_images/ms/01.42f52a2b2aedff02.webp) + ### **4. Pasang Pemacu NVIDIA** -1. **Pemacu GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **Pemacu GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) -3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) +3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Peringatan*** Sila gunakan tetapan lalai semasa proses pemasangan +***Peringatan*** Sila gunakan tetapan lalai dengan aliran Pemasangan ### **5. Tetapkan Persekitaran NVIDIA** -Salin fail lib, bin, include NVIDIA CUDNN 9.4 ke dalam lib, bin, include NVIDIA CUDA 12.4 +Salin perpustakaan NVIDIA CUDNN 9.4 lib, bin, include ke NVIDIA CUDA 12.4 lib, bin, include -- salin fail dari *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- Salin fail *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- salin fail dari *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- Salin fail *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- Salin fail *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- salin fail dari *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* ke *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Muat Turun Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ Salin fail lib, bin, include NVIDIA CUDNN 9.4 ke dalam lib, bin, include NVIDIA ``` -### **7. Jalankan InferencePhi35Instruct.ipynb** +### **7. Menjalankan InferencePhi35Instruct.ipynb** + + Buka [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) dan jalankan - Buka [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) dan jalankan ![RESULT](../../../../../../translated_images/ms/02.b9b06996cf7255d5.webp) -### **8. Kompilasi ORT GenAI GPU** + +### **8. Susun ORT GenAI GPU** + ***Nota*** - 1. Sila nyahpasang semua berkaitan onnx, onnxruntime dan onnxruntime-genai terlebih dahulu + 1. Sila nyahpasang semua berkaitan onnx dan onnxruntime dan onnxruntime-genai terlebih dahulu + ```bash pip list ``` - Kemudian nyahpasang semua perpustakaan onnxruntime seperti berikut + Kemudian nyahpasang semua perpustakaan onnxruntime iaitu + ```bash @@ -102,12 +111,16 @@ Salin fail lib, bin, include NVIDIA CUDNN 9.4 ke dalam lib, bin, include NVIDIA 2. Semak sokongan Sambungan Visual Studio - Semak di C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras untuk memastikan folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration wujud. + Semak C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras untuk memastikan C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration dijumpai. - Jika tidak dijumpai, periksa folder pemacu toolkit Cuda lain dan salin folder visual_studio_integration beserta kandungannya ke C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Jika tidak dijumpai semak folder pemacu Cuda toolkit yang lain dan salin folder visual_studio_integration beserta kandungannya ke C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Jika anda tidak mahu menyusun, anda boleh langkau langkah ini + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -118,12 +131,13 @@ Salin fail lib, bin, include NVIDIA CUDNN 9.4 ke dalam lib, bin, include NVIDIA - Nyahzip onnxruntime-win-x64-gpu-1.19.2.zip, dan namakan semula kepada **ort**, salin folder ort ke onnxruntime-genai - - Gunakan Windows Terminal, buka Developer Command Prompt untuk VS 2022 dan pergi ke onnxruntime-genai + - Menggunakan Windows Terminal, pergi ke Developer Command Prompt untuk VS 2022 dan pergi ke onnxruntime-genai ![RESULT](../../../../../../translated_images/ms/03.b83ce473d5ff9b9b.webp) - - Kompilasi menggunakan persekitaran python anda + - Susun ia dengan persekitaran python anda + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Salin fail lib, bin, include NVIDIA CUDNN 9.4 ke dalam lib, bin, include NVIDIA ``` -**Penafian**: -Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan profesional oleh manusia adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file +--- + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan oleh manusia profesional adalah disyorkan. Kami tidak bertanggungjawab terhadap sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. + \ No newline at end of file diff --git a/translations/ms/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ms/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 27484dd1f..06f333df9 100644 --- a/translations/ms/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ms/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,32 +1,32 @@ -# Menggunakan Windows GPU untuk mencipta penyelesaian Prompt flow dengan Phi-3.5-Instruct ONNX +# Menggunakan GPU Windows untuk mencipta penyelesaian Prompt flow dengan Phi-3.5-Instruct ONNX Dokumen berikut adalah contoh cara menggunakan PromptFlow dengan ONNX (Open Neural Network Exchange) untuk membangunkan aplikasi AI berdasarkan model Phi-3. -PromptFlow adalah satu set alat pembangunan yang direka untuk memudahkan kitaran pembangunan menyeluruh aplikasi AI berasaskan LLM (Large Language Model), dari idea dan prototaip hingga ujian dan penilaian. +PromptFlow adalah satu set alat pembangunan yang direka untuk memudahkan kitaran pembangunan menyeluruh aplikasi AI berasaskan LLM (Model Bahasa Besar), dari idea dan prototaip hingga ke ujian dan penilaian. -Dengan menggabungkan PromptFlow dengan ONNX, pembangun boleh: +Dengan mengintegrasikan PromptFlow dengan ONNX, pembangun boleh: -- Mengoptimumkan Prestasi Model: Memanfaatkan ONNX untuk inferens model dan penyebaran yang cekap. -- Memudahkan Pembangunan: Gunakan PromptFlow untuk mengurus aliran kerja dan mengautomasikan tugasan berulang. +- Mengoptimumkan Prestasi Model: Manfaatkan ONNX untuk inferens model yang cekap dan penyebaran. +- Memudahkan Pembangunan: Gunakan PromptFlow untuk mengurus aliran kerja dan mengautomasikan tugas berulang. - Meningkatkan Kerjasama: Memudahkan kerjasama yang lebih baik antara ahli pasukan dengan menyediakan persekitaran pembangunan yang bersatu. -**Prompt flow** adalah satu set alat pembangunan yang direka untuk memudahkan kitaran pembangunan menyeluruh aplikasi AI berasaskan LLM, dari idea, prototaip, ujian, penilaian hingga penyebaran dan pemantauan produksi. Ia memudahkan kejuruteraan prompt dan membolehkan anda membina aplikasi LLM dengan kualiti produksi. +**Prompt flow** adalah satu set alat pembangunan yang direka untuk memudahkan kitaran pembangunan menyeluruh aplikasi AI berasaskan LLM, dari idea, prototaip, ujian, penilaian hingga penyebaran dan pemantauan produksi. Ia menjadikan kejuruteraan arahan lebih mudah dan membolehkan anda membina aplikasi LLM dengan kualiti produksi. -Prompt flow boleh disambungkan ke OpenAI, Azure OpenAI Service, dan model yang boleh disesuaikan (Huggingface, LLM/SLM tempatan). Kami berharap dapat menyebarkan model ONNX kuantisasi Phi-3.5 ke aplikasi tempatan. Prompt flow boleh membantu kami merancang perniagaan dengan lebih baik dan melengkapkan penyelesaian tempatan berdasarkan Phi-3.5. Dalam contoh ini, kami akan menggabungkan ONNX Runtime GenAI Library untuk melengkapkan penyelesaian Prompt flow berdasarkan Windows GPU. +Prompt flow boleh menyambung ke OpenAI, Azure OpenAI Service, dan model yang boleh disesuaikan (Huggingface, LLM/SLM tempatan). Kami berharap untuk menyebarkan model ONNX Phi-3.5 yang telah dikuantisasi ke aplikasi tempatan. Prompt flow boleh membantu kami merancang perniagaan dengan lebih baik dan melengkapkan penyelesaian tempatan berdasarkan Phi-3.5. Dalam contoh ini, kami akan menggabungkan ONNX Runtime GenAI Library untuk melengkapkan penyelesaian Prompt flow berdasarkan GPU Windows. ## **Pemasangan** -### **ONNX Runtime GenAI untuk Windows GPU** +### **ONNX Runtime GenAI untuk GPU Windows** -Baca panduan ini untuk menetapkan ONNX Runtime GenAI untuk Windows GPU [klik di sini](./ORTWindowGPUGuideline.md) +Baca panduan ini untuk menetapkan ONNX Runtime GenAI bagi GPU Windows [klik di sini](./ORTWindowGPUGuideline.md) -### **Sediakan Prompt flow dalam VSCode** +### **Tetapkan Prompt flow dalam VSCode** 1. Pasang Sambungan Prompt flow VS Code ![pfvscode](../../../../../../translated_images/ms/pfvscode.eff93dfc66a42cbe.webp) -2. Selepas memasang Sambungan Prompt flow VS Code, klik sambungan tersebut, dan pilih **Installation dependencies** ikut panduan ini untuk memasang Prompt flow SDK dalam persekitaran anda +2. Selepas memasang Sambungan Prompt flow VS Code, klik sambungan tersebut, dan pilih **Installation dependencies** ikut panduan ini untuk memasang SDK Prompt flow dalam persekitaran anda ![pfsetup](../../../../../../translated_images/ms/pfsetup.b46e93096f5a254f.webp) @@ -38,7 +38,7 @@ Baca panduan ini untuk menetapkan ONNX Runtime GenAI untuk Windows GPU [klik di ![pfdag](../../../../../../translated_images/ms/pfdag.264a77f7366458ff.webp) - Buka **chat_phi3_ort.py** untuk menukar lokasi Model Phi-3.5-instruct ONNX anda + Buka **chat_phi3_ort.py** untuk menukar lokasi Model ONNX Phi-3.5-instruct anda ![pfphi](../../../../../../translated_images/ms/pfphi.72da81d74244b45f.webp) @@ -52,7 +52,7 @@ selepas klik ini, dan jalankan untuk menguji ![pfflow](../../../../../../translated_images/ms/pfflow.4e1135a089b1ce1b.webp) -1. Anda boleh jalankan batch dalam terminal untuk memeriksa lebih banyak keputusan +1. Anda boleh jalankan batch dalam terminal untuk memeriksa lebih banyak hasil ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Anda boleh semak keputusan dalam pelayar lalai anda +Anda boleh periksa hasil dalam pelayar lalai anda ![pfresult](../../../../../../translated_images/ms/pfresult.c22c826f8062d7cb.webp) -**Penafian**: -Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan profesional oleh manusia adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file +--- + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI [Co-op Translator](https://github.com/Azure/co-op-translator). Walaupun kami berusaha untuk ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan oleh manusia profesional adalah disyorkan. Kami tidak bertanggungjawab terhadap sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. + \ No newline at end of file diff --git a/translations/my/.co-op-translator.json b/translations/my/.co-op-translator.json index 762047447..60595019c 100644 --- a/translations/my/.co-op-translator.json +++ b/translations/my/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:27:29+00:00", + "translation_date": "2026-07-29T17:18:45+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "my" }, @@ -337,7 +337,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-FineTuning_PromptFlow_Integration.md": { "original_hash": "7ca2c30fdb802664070e9cfbf92e24fe", - "translation_date": "2026-01-05T15:50:11+00:00", + "translation_date": "2026-07-29T17:23:45+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-FineTuning_PromptFlow_Integration.md", "language_code": "my" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:48:33+00:00", + "translation_date": "2026-07-29T17:19:48+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "my" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:04:33+00:00", + "translation_date": "2026-07-29T17:19:13+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "my" }, diff --git a/translations/my/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/my/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 64dd1488c..38ea0eb4e 100644 --- a/translations/my/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/my/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Model Builder ကို အသုံးပြုပြီး Phi-3.5 ကို Quantize လုပ်နည်း** +# **onnxruntime အတွက် Generative AI ပြွန်များကို အသုံးပြု၍ Phi မိသားစုကို Quantizing ပြုလုပ်ခြင်း** -Model Builder သည် ယခုအခါ Phi-3.5 Instruct နှင့် Phi-3.5-Vision အတွက် ONNX မော်ဒယ် Quantization ကို ထောက်ပံ့ပေးပါသည်။ +## **onnxruntime အတွက် Generative AI ပြွန်များ ဆိုတာဘာလဲ** + +ဤပြွန်များသည် ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) နှင့် generative AI ကို အကောင်အထည်ဖော်ရန် အကူအညီပေးသည်။ ONNX မော်ဒယ်များအတွက် generative AI လုပ်ငန်းစဉ်ကို ပံ့ပိုးပေးပြီး ONNX Runtime ဖြင့် အနုတ်ယူခြင်း၊ logits အချက်အလက်များကို သုံးသပ်ခြင်း၊ ရှာဖွေမှုနှင့် စမ်းသပ်မှု၊ KV cache စီမံခန့်ခွဲမှုပေါင်းစပ်သည်။ ဖန်တီးသူများသည် generate() အဆင့်မြင့်နည်းလမ်းကို ခေါ်ယူနိုင်ပြီး မော်ဒယ်၏ အမျိုးမျိုး iteration များကို loop ဖြင့် တစ်ကြိမ်လျှင် တစ်ခုချင်း token များ ကို generate လုပ်နိုင်သည်။ loop အတွင်း generation parameters များကို လိုအပ်သလို ပြင်ဆင်နိုင်သည်။ greedy/beam search နှင့် TopP, TopK sampling ကို token စဉ်များ ဖန်တီးရာတွင် ပံ့ပိုးပေးပြီး repetitions အတွက် logits ကို ကျူးလွန်ဆန့်ကျင်ရေးများ ပါဝင်သည်။ သင်သည် custom scoring ကိုလည်း လွယ်ကူစွာ ထည့်သွင်းနိုင်သည်။ + +အပလီကေးရှင်းအဆင့်တွင် C++/ C# / Python အသုံးပြုပြီး onnxruntime အတွက် Generative AI ပြွန်များဖြင့် အပလီကေးရှင်းများ ဖန်တီးနိုင်သည်။ မော်ဒယ်အဆင့်တွင် fine-tuned မော်ဒယ်များကို ပေါင်းစပ်ပြီး သက်ဆိုင်ရာ quantitative deployment လုပ်ငန်းများ ဆောင်ရွက်နိုင်သည်။ + + +## **onnxruntime အတွက် Generative AI ပြွန်များဖြင့် Phi-3.5 Quantizing ပြုလုပ်ခြင်း** + +### **ပံ့ပိုးမော်ဒယ်များ** + +onnxruntime အတွက် Generative AI ပြွန်များတွင် Microsoft Phi၊ Google Gemma, Mistral, Meta LLaMA မော်ဒယ်များ၏ quantization conversion ကို ပံ့ပိုးပေးသည်။ + + +### **onnxruntime အတွက် Generative AI ပြွန်များအတွင်း Model Builder** + +Model Builder သည် ONNX Runtime generate() API နှင့် လုပ်ဆောင်နိုင်သည့် optimized နှင့် quantized ONNX မော်ဒယ်များ ဖန်တီးခြင်းကို အလွန်မြန်ဆန်စေသည်။ + +Model Builder မှတဆင့် မော်ဒယ်ကို INT4, INT8, FP16, FP32 အဖြစ် quantize ပြုလုပ်နိုင်ပြီး CPU, CUDA, DirectML, Mobile စသည့် hardware acceleration နည်းလမ်းများပေါင်းစပ် အသုံးပြုနိုင်သည်။ + +Model Builder အသုံးပြုရန်အတွက် သင်သည် အောက်ပါအတိုင်း ထည့်သွင်းရပါမည် + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +ထည့်သွင်းပြီးနောက် terminal မှ Model Builder script ကို chạy၍ မော်ဒယ်ဖော်မတ်နှင့် quantization conversion ပြုလုပ်နိုင်သည်။ + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +သက်ဆိုင်သော parameters များကိုနားလည်ပါ + +၁။ **model_name** - Hugging face တွင်ရှိသည့် မော်ဒယ်အမည်ဖြစ်ပြီး microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct စသည်ဖြစ်နိုင်သည်။ သို့မဟုတ် မော်ဒယ်ကို သိမ်းထားသော လမ်းကြောင်းဖြစ်နိုင်သည်။ + +၂။ **path_to_output_folder** - Quantized ပြောင်းလဲပြီး သိမ်းဆည်းမည့် လမ်းကြောင်း + +၃။ **execution_provider** - CPU, CUDA, DirectML ကဲ့သို့သော hardware acceleration support များ + +၄။ **cache_dir_to_save_hf_files** - Hugging face မှ မော်ဒယ်ကို ဒေါင်းလုပ်လုပ်ပြီး ဒေသတွင်းသိုလှောင်သည့်နေရာ + + + + +***Note：*** + +## **Phi-3.5 ကို Quantizing ပြုလုပ်ရန် Model Builder ကို ဘယ်လိုအသုံးပြုမလဲ** + +Model Builder သည် ယခု Phi-3.5 Instruct နှင့် Phi-3.5-Vision မော်ဒယ်များအတွက် ONNX မော်ဒယ် quantization ကို ပံ့ပိုးပေးသည်။ ### **Phi-3.5-Instruct** -**CPU ဖြင့် အမြန်ပြောင်းလဲနိုင်သော INT4 Quantized Conversion** + +**CPU အားဖြင့် စတင်ကာ quantized INT4 conversion ပြုလုပ်ခြင်း** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA ဖြင့် အမြန်ပြောင်းလဲနိုင်သော INT4 Quantized Conversion** +**CUDA အားဖြင့် စတင်ကာ quantized INT4 conversion ပြုလုပ်ခြင်း** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Terminal တွင် ပတ်ဝန်းကျင်ကို သတ်မှတ်ပါ +၁။ Terminal တွင် ပတ်ဝန်းကျင် ပြင်ဆင်ရန် ```bash @@ -40,10 +101,10 @@ cd models ``` -2. models ဖိုလ်ဒါအတွင်း microsoft/Phi-3.5-vision-instruct ကို ဒေါင်းလုပ်လုပ်ပါ +၂။ models ဖိုလ်ဒါတွင် microsoft/Phi-3.5-vision-instruct ကို ဒေါင်းလုပ်လုပ်ပါ [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. အောက်ပါဖိုင်များကို သင့် Phi-3.5-vision-instruct ဖိုလ်ဒါထဲသို့ ဒေါင်းလုပ်လုပ်ပါ +၃။ ဤဖိုင်များကို သင့် Phi-3.5-vision-instruct ဖိုလ်ဒါသို့ ဒေါင်းလုပ်လုပ်ပါ - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. ဒီဖိုင်ကို models ဖိုလ်ဒါထဲ ဒေါင်းလုပ်လုပ်ပါ + +၄။ models ဖိုလ်ဒါသို့ ဤဖိုင်ကို ဒေါင်းလုပ်လုပ်ပါ [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Terminal သို့ သွားပါ +၅။ Terminal သို့ သွားပါ + + FP32 ဖြင့် ONNX ပံ့ပိုးမှုကို ပြောင်းလဲပါ - FP32 ဖြင့် ONNX ထောက်ပံ့မှု ပြောင်းလဲခြင်း ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **မှတ်ချက်** -1. Model Builder သည် လက်ရှိတွင် Phi-3.5-Instruct နှင့် Phi-3.5-Vision မော်ဒယ်များကိုသာ ပြောင်းလဲပေးနိုင်ပြီး Phi-3.5-MoE ကို မထောက်ပံ့သေးပါ။ +### **မှတ်ချက်：** + +၁။ Model Builder သည် ယခုအခါ Phi-3.5-Instruct နှင့် Phi-3.5-Vision မော်ဒယ်များကိုသာ ပြောင်းလဲမှုများပံ့ပိုးပေးပြီး Phi-3.5-MoE မဟုတ်ပါ။ -2. ONNX Quantized မော်ဒယ်ကို အသုံးပြုရန် Generative AI extensions for onnxruntime SDK မှတဆင့် အသုံးပြုနိုင်ပါသည်။ +၂။ ONNX ၏ quantized မော်ဒယ်ကို onnxruntime အတွက် Generative AI ပြွန်များ SDK မှတဆင့် အသုံးပြုနိုင်သည်။ -3. မော်ဒယ် Quantization ပြောင်းလဲပြီးနောက်ပိုင်းတွင် ပိုမိုထိရောက်သော ရလဒ်စမ်းသပ်မှုများ ပြုလုပ်ရန် အကြံပြုပါသည်၊ အကြောင်းက တာဝန်ရှိသော AI ကို စဉ်းစားရန် ဖြစ်ပါသည်။ +၃။ ပိုမို တာဝန်ရှိသော AI ကို စဉ်းစားရန်လိုအပ်သောကြောင့် မော်ဒယ် quantization ပြောင်းလဲခြင်းပြီးနောက် အကျိုးသက်ရောက်မှု အနည်းငယ်သော စစ်ဆေးချက်များ ဆောင်ရွက်သင့်သည်။ + +၄။ CPU INT4 မော်ဒယ်ကို quantizing ပြုလုပ်ခြင်းဖြင့် Edge Device သို့ deployment ပြုလုပ်နိုင်ပြီး အသုံးချရလဒ်ကောင်းမွန်သော အပလီကေးရှင်းများ ဖန်တီးနိုင်သည်။ ထို့ကြောင့် Phi-3.5-Instruct ကို INT4 ရှိသည့် ပုံစံပတ်ဝန်းကျင်တွင် ပြီးမြောက်ထားသည်။ -4. CPU INT4 မော်ဒယ်ကို Quantize လုပ်ခြင်းဖြင့် Edge Device များတွင် တပ်ဆင်နိုင်ပြီး အသုံးပြုမှုအခြေအနေများ ပိုမိုကောင်းမွန်သည့်အတွက် Phi-3.5-Instruct ကို INT4 အခြေခံပြီး ပြီးစီးထားပါသည်။ ## **အရင်းအမြစ်များ** -1. Generative AI extensions for onnxruntime အကြောင်း ပိုမိုလေ့လာရန် [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +၁။ onnxruntime အတွက် Generative AI ပြွန်များ အကြောင်း ပိုမိုသိရှိရန် [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +၂။ onnxruntime အတွက် Generative AI ပြွန်များ GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**အကြောင်းကြားချက်** -ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ဖြင့် ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် မေတ္တာရပ်ခံအပ်ပါသည်။ မူရင်းစာတမ်းကို မိမိဘာသာစကားဖြင့်သာ တရားဝင်အချက်အလက်အဖြစ် ယူဆသင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်မှ ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုရာမှ ဖြစ်ပေါ်လာနိုင်သည့် နားလည်မှုမှားယွင်းမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file + +**ပြောကြားချက်** +ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးပမ်းနေသော်လည်း၊ စက်ကိရိယာဘာသာပြန်ခြင်းများတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် လိုအပ်ပါသည်။ မူလစာတမ်းကို မူရင်းဘာသာဖြင့်သာ ယုံကြည်စိတ်ချရသော အချက်အလက်အဖြစ် သတ်မှတ်သင့်သည်။ အရေးကြီးသည့် သတင်းအချက်အလက်များအတွက် ပရော်ဖက်ရှင်နယ် လူသားဘာသာပြန်သူဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုကွာခြားမှုများ သို့မဟုတ် မမှန်ကန်သော အသုံးပြုမှုများအတွက် ကျွန်ုပ်တို့ တာဝန်မခံပါ။ + \ No newline at end of file diff --git a/translations/my/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-FineTuning_PromptFlow_Integration.md b/translations/my/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-FineTuning_PromptFlow_Integration.md index 7be84837d..db796c5f9 100644 --- a/translations/my/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-FineTuning_PromptFlow_Integration.md +++ b/translations/my/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-FineTuning_PromptFlow_Integration.md @@ -1,224 +1,224 @@ -# Fine-tune နှင့် custom Phi-3 မော်ဒယ်များကို Prompt flow နဲ့ပေါင်းစပ်ခြင်း +# Prompt flow နှင့်အတူ ကိစၥရုပ် Phi-3 မော်ဒယ်များကို မှန်မှန်ကန်ကန် ပြင်ဆင်၍ ပေါင်းစပ်ခြင်း -ဒီ end-to-end (E2E) နမူနာက Microsoft Tech Community မှ "[Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow: Step-by-Step Guide](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow/ba-p/4178612?WT.mc_id=aiml-137032-kinfeylo)" လမ်းညွှန်စာအုပ်အပေါ်အခြေခံပြီး ဖြစ်ပါတယ်။ ဒါဟာ fine-tuning၊ ဖြန့်ချိခြင်းနဲ့ custom Phi-3 မော်ဒယ်များကို Prompt flow နဲ့ပေါင်းစပ်တဲ့ လုပ်ငန်းစဉ်တွေကို မိတ်ဆက်ပေးပါတယ်။ +Microsoft Tech Community မှ " [Prompt Flow ဖြင့် စိတ်ကြိုက် Phi-3 မော်ဒယ်များ ကို ရှင်းလင်းပြင်ဆင်ပြီး ပေါင်းစပ်ခြင်း: အဆင့်ဆင့် လမ်းညွှန်ချက်](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow/ba-p/4178612?WT.mc_id=aiml-137032-kinfeylo) " လမ်းညွှန်ချက်အရ တည်ဆောက်ထားသော ဒီ end-to-end (E2E) နမူနာသည် စိတ်ကြိုက် Phi-3 မော်ဒယ်များကို မှန်မှန်ကန်ကန် ပြင်ဆင်ခြင်း၊ တပ်ဆင်ခြင်းနဲ့ Prompt flow နှင့် ပေါင်းစပ်ခြင်းလုပ်ငန်းစဉ်များကို မိတ်ဆက်ပေးပါသည်။ -## ကိုယ်ပိုင်အကျဉ်းချုပ် +## အနှစ်ချုပ် -ဒီ E2E နမူနာမှာ သင်ဟာ Phi-3 မော်ဒယ်ကို fine-tune လုပ်နည်းနဲ့ Prompt flow နဲ့ပေါင်းစပ်နည်းကို သင်ယူမှာဖြစ်ပါတယ်။ Azure Machine Learning နဲ့ Prompt flow ကို အသုံးပြုပြီး မိမိတို့ custom AI မော်ဒယ်များကို ဖြန့်ချိခြင်းနဲ့ အသုံးပြုခြင်းအတွက် workflow တစ်ခုဖန်တီးပါမယ်။ ဒီ E2E နမူနာကို သုံးခုသော ကြည့်ရှုခင်းများအဖြစ်ခွဲထားပါတယ်။ +ဒီ E2E နမူနာမှာ Phi-3 မော်ဒယ်ကို ပြန်ပြင်၍ Prompt flow နှင့်ပေါင်းစပ်တာကို သင်ယူနိုင်မှာဖြစ်ပြီး Azure Machine Learning နှင့် Prompt flow ကို အသုံးပြုပြီး စိတ်ကြိုက် AI မော်ဒယ်များကို တပ်ဆင် အသုံးပြုနိုင်ရန် workflow တစ်ခု ချမှတ်ပေးပါမယ်။ ဒီ E2E နမူနာကို သုံးခွဲ သတ်မှတ်ချက်များသုံးခုအလိုက် ဖွဲ့စည်းထားသည်။ -**ကြည့်ရှုခင်း ၁: Azure အရင်းအမြစ်များ တပ်ဆင်ခြင်းနှင့် fine-tuning အတွက် ပြင်ဆင်ခြင်း** +**သတ်မှတ်ချက် ၁: Azure အရင်းအမြစ်များ တပ်ဆင်ခြင်းနှင့် ပြင်ဆင်မှုအတွက် အသင့်ပြင်ဆင်ခြင်း** -**ကြည့်ရှုခင်း ၂: Phi-3 မော်ဒယ်ကို fine-tune လုပ်ခြင်း၊ Azure Machine Learning Studio မှာ ဖြန့်ချိခြင်း** +**သတ်မှတ်ချက် ၂: Phi-3 မော်ဒယ် ပြုပြင်ခြင်းနှင့် Azure Machine Learning Studio တွင် တပ်ဆင်ခြင်း** -**ကြည့်ရှုခင်း ၃: Prompt flow နဲ့ ပေါင်းစပ်ခြင်းနဲ့ သင့် custom မော်ဒယ်နဲ့ စကားပြောခြင်း** +**သတ်မှတ်ချက် ၃: Prompt flow နှင့် ပေါင်းစပ်ပြီး သင့်စိတ်ကြိုက် မော်ဒယ်ဖြင့် စကားပြောခြင်း** -ဒီမှာ ဒီ E2E နမူနာအကြောင်းအကျဉ်းက ဒီလို ဖြစ်ပါတယ်။ +ဒီ E2E နမူနာ၏ အနှစ်ချုပ်မှာ ဒီအတိုင်းဖြစ်ပါတယ်။ ![Phi-3-FineTuning_PromptFlow_Integration Overview](../../../../../../translated_images/my/00-01-architecture.02fc569e266d468c.webp) -### အကြောင်းအရာဇယား +### အကြောင်းအရာ အညွှန်း -1. **[ကြည့်ရှုခန်း ၁: Azure အရင်းအမြစ်များ တပ်ဆင်ခြင်းနှင့် fine-tuning အတွက် ပြင်ဆင်ခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3)** - - [Azure Machine Learning Workspace တည်ဆောက်ခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [Azure Subscription မှ GPU အရေအတွက်တောင်းခံခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [Role assignment ထည့်သွင်းခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [ပရောဂျက်ကို တပ်ဆင်ခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [fine-tuning အတွက် dataset ပြင်ဆင်ခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) +1. **[သတ်မှတ်ချက် ၁: Azure အရင်းအမြစ်များ တပ်ဆင်ခြင်းနှင့် ပြင်ဆင်မှုအတွက် အသင့်ပြင်ဆင်ခြင်း](#သတ်မှတ်ချက်-၁-azure-အရင်းအမြစ်များ-တပ်ဆင်ခြင်းနှင့်-ပြင်ဆင်မှုအတွက်-အသင့်ပြင်ဆင်ခြင်း)** + - [Azure Machine Learning Workspace တည်ဆောက်ခြင်း](#azure-machine-learning-workspace-တည်ဆောက်ခြင်း) + - [Azure Subscription တွင် GPU မှတ်ပုံတင် တောင်းဆိုခြင်း](#azure-subscription-တွင်-gpu-မှတ်ပုံတင်-တောင်းဆိုခြင်း) + - [Role တာဝန်ပေးခြင်း](#role-တာဝန်ပေးခြင်း-ထည့်သွင်းခြင်း) + - [Project တည်ဆောက်ခြင်း](#project-တည်ဆောက်ခြင်း) + - [ပြင်ဆင်မှုအတွက် dataset ပြင်ဆင်ခြင်း](#fine-tuning-အတွက်-dataset-ပြင်ဆင်ခြင်း) -1. **[ကြည့်ရှုခန်း ၂: Phi-3 မော်ဒယ်ကို fine-tune လုပ်ခြင်းနှင့် Azure Machine Learning Studio တွင် ဖြန့်ချိခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3)** - - [Azure CLI ကို သတ်မှတ်ခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [Phi-3 မော်ဒယ်ကို fine-tune လုပ်ခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [fine-tuned မော်ဒယ်ကို ဖြန့်ချိခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) +1. **[သတ်မှတ်ချက် ၂: Phi-3 မော်ဒယ် ပြုပြင်ခြင်းနှင့် Azure Machine Learning Studio တွင် တပ်ဆင်ခြင်း](#ဒုတိယ-အခန်းကဏ္ဍ-phi-3-မော်ဒယ်-fine-tune-လုပ်ပြီး-azure-machine-learning-studio-တွင်-deploy-ပြုလုပ်ခြင်း)** + - [Azure CLI တပ်ဆင်ခြင်း](#azure-cli-ချိန်ညှိခြင်း) + - [Phi-3 မော်ဒယ်ကို ပြင်ဆင်ခြင်း](#phi-3-မော်ဒယ်-fine-tune-လုပ်ခြင်း) + - [ပြင်ဆင်ပြီးမော်ဒယ်ကို တပ်ဆင်ခြင်း](#fine-tuned-မော်ဒယ်ကို-deploy-ပြုလုပ်ခြင်း) -1. **[ကြည့်ရှုခန်း ၃: Prompt flow နဲ့ ပေါင်းစပ်ခြင်းနှင့် သင့် custom မော်ဒယ်နဲ့ စကားပြောခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3)** - - [Custom Phi-3 မော်ဒယ်ကို Prompt flow နဲ့ ပေါင်းစပ်ခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [သင့် custom မော်ဒယ်နဲ့ စကားပြောခြင်း](../../../../../../md/02.Application/01.TextAndChat/Phi3) +1. **[သတ်မှတ်ချက် ၃: Prompt flow နှင့် ပေါင်းစပ်ပြီး သင့်စိတ်ကြိုက်မော်ဒယ်ဖြင့် စကားပြောခြင်း](#အခြေအနေ-၃-prompt-flow-နှင့်ပေါင်းစပ်ပြီး-သင့်စိတ်ကြိုက်မော်ဒယ်နှင့်-စကားပြောရန်)** + - [စိတ်ကြိုက် Phi-3 မော်ဒယ်ကို Prompt flow နှင့် ပေါင်းစပ်ခြင်း](#သင့်စိတ်ကြိုက်-phi-3-မော်ဒယ်ကို-prompt-flow-နှင့်ပေါင်းစပ်ခြင်း) + - [စိတ်ကြိုက်မော်ဒယ် ဖြင့် စကားပြောခြင်း](#သင့်စိတ်ကြိုက်မော်ဒယ်နှင့်-စကားပြောခြင်း) -## ကြည့်ရှုခန်း ၁: Azure အရင်းအမြစ်များ တပ်ဆင်ခြင်းနှင့် fine-tuning အတွက် ပြင်ဆင်ခြင်း +## သတ်မှတ်ချက် ၁: Azure အရင်းအမြစ်များ တပ်ဆင်ခြင်းနှင့် ပြင်ဆင်မှုအတွက် အသင့်ပြင်ဆင်ခြင်း ### Azure Machine Learning Workspace တည်ဆောက်ခြင်း -1. Portal စာမျက်နှာအပေါ်ဆုံးမှာရှိတဲ့ **search bar** ထဲမှာ *azure machine learning* ဟုတ်ပါတယ်ရေးပြီးပြုစုထွက်လာတဲ့ရွေးချယ်စရာတွေထဲက **Azure Machine Learning** ကို ရွေးချယ်ပါ။ +1. Portal စာမျက်နှာအပေါ်မှာ ရှာဖွေရေး အဆင့်ကျသော အပိုင်းတွင် *azure machine learning* ဟု ရိုက်ထည့်ပြီး စာရင်းထဲမှ **Azure Machine Learning** ကို ရွေးချယ်ပါ။ ![Type azure machine learning](../../../../../../translated_images/my/01-01-type-azml.a5116f8454d98c60.webp) -1. နေရာမီနူး (navigation menu) မှာ **+ Create** ကိုရွေးချယ်ပါ။ +1. navigation menu မှ **+ Create** ကို ရွေးချယ်ပါ။ -1. နေရာမီနူး (navigation menu) မှာ **New workspace** ကို ရွေးချယ်ပါ။ +1. navigation menu မှ **New workspace** ကို ရွေးချယ်ပါ။ ![Select new workspace](../../../../../../translated_images/my/01-02-select-new-workspace.83e17436f8898dc4.webp) -1. အောက်ပါလုပ်ဆောင်ချက်များကို ဆောင်ရွက်ပါ။ +1. အောက်ပါ အလုပ်ဆောင်ချက်များ ဆောင်ရွက်ပါ။ - - သင်၏ Azure **Subscription** ကို ရွေးချယ်ပါ။ - - အသုံးပြုမည့် **Resource group** ကို ရွေးပါ (လိုအပ်လျှင် အသစ်ဖန်တီးပါ)။ - - **Workspace Name** ထည့်ပါ။ ပြီးတော့ တူမယ့် တန်ဖိုး မရှိရပါ။ - - အသုံးပြုလိုသည့် **Region** ကို ရွေးပါ။ - - အသုံးပြုမည့် **Storage account** ကို ရွေးပါ (လိုအပ်လျှင် အသစ်ဖန်တီးပါ)။ - - အသုံးပြုမည့် **Key vault** ကို ရွေးပါ (လိုအပ်လျှင် အသစ်ဖန်တီးပါ)။ - - အသုံးပြုမည့် **Application insights** ကို ရွေးပါ (လိုအပ်လျှင် အသစ်ဖန်တီးပါ)။ - - အသုံးပြုမည့် **Container registry** ကို ရွေးပါ (လိုအပ်လျှင် အသစ်ဖန်တီးပါ)။ + - သင့် Azure **Subscription** ကို ရွေးချယ်ပါ။ + - အသုံးပြုမည့် **Resource group** ကို ရွေးချယ်ပါ (လိုအပ်ပါက အသစ်တစ်ခု ဖန်တီးပါ)။ + - **Workspace Name** ထည့်ပါ။ တစ်ခုထူးခြားသော တန်ဖိုးဖြစ်ရပါမည်။ + - အသုံးပြုလိုသည့် **Region** ကို ရွေးချယ်ပါ။ + - အသုံးပြုမည့် **Storage account** ကို ရွေးချယ်ပါ (လိုအပ်ပါက အသစ်ဖန်တီးပါ)။ + - အသုံးပြုမည့် **Key vault** ကို ရွေးချယ်ပါ (လိုအပ်ပါက အသစ်ဖန်တီးပါ)။ + - အသုံးပြုမည့် **Application insights** ကို ရွေးချယ်ပါ (လိုအပ်ပါက အသစ်ဖန်တီးပါ)။ + - အသုံးပြုမည့် **Container registry** ကို ရွေးချယ်ပါ (လိုအပ်ပါက အသစ်ဖန်တီးပါ)။ ![Fill AZML.](../../../../../../translated_images/my/01-03-fill-AZML.730a5177757bbebb.webp) -1. **Review + Create** ကို ရွေးပါ။ +1. **Review + Create** ကို ရွေးချယ်ပါ။ 1. **Create** ကို ရွေးချယ်ပါ။ -### Azure Subscription မှ GPU အရေအတွက်တောင်းခံခြင်း +### Azure Subscription တွင် GPU မှတ်ပုံတင် တောင်းဆိုခြင်း -ဒီ E2E နမူနာမှာ သင်ဟာ fine-tuning အတွက် *Standard_NC24ads_A100_v4 GPU* ကိုသုံးမှာ ဖြစ်ပြီး quota တောင်းခံရမယ်၊ deployment အတွက် *Standard_E4s_v3* CPU ကိုသုံးမှာဖြစ်ပြီး quota တောင်းနိုင်ရန်မလိုအပ်ပါ။ +ဒီ E2E နမူနာမှာ fine-tuning အတွက် *Standard_NC24ads_A100_v4 GPU* ကို အသုံးပြုမယ်၊ အဲဒါက quota request လုပ်ရန် လိုအပ်ပြီး၊ deployment အတွက် *Standard_E4s_v3* CPU ကို အသုံးပြုမယ်၊ အဲဒါက quota request လုပ်ရန် မလိုပါ။ > [!NOTE] > -> Pay-As-You-Go subscription (ပုံမှန် subscription အမျိုးအစား) တွေပဲ GPU ထောက်ပံ့ခွင့်ရရှိနိုင်သည်။ Benefit subscription များကို လက်ရှိမှာ မထောက်ပံ့ပါ။ +> GPU ကွေ့သည် Pay-As-You-Go subscription များတွင်သာ သုံးနိုင်ပြီး Benefit subscription များအား ထောက်ပံ့မထားပါ။ > -> Benefit subscription (ဥပမာ Visual Studio Enterprise Subscription) သုံးနေသူများ သို့မဟုတ် fine-tuning နဲ့ deployment လုပ်ငန်းစဉ်ကို အမြန်စမ်းသပ်လိုသူများအတွက် ဒီလမ်းညွှန်မှာ CPU ဖြင့် dataset ဆန့်ကျင်မှုနည်းနည်းနဲ့ fine-tune လုပ်နည်းလည်း ပါပါတယ်။ သို့သော် GPU နဲ့ ကြီးမားတဲ့ dataset အသုံးပြုပါက fine-tune ရလဒ်က ပိုကောင်းမှုရှိကြောင်း သတိထားစေရန်အရေးကြီးပါသည်။ +> Benefit subscription များနဲ့ (ဥပမာ Visual Studio Enterprise Subscription) သို့မဟုတ် fine-tuning နှင့် deployment လုပ်ငန်းစဉ်ကို မြန်မြန်စမ်းသပ်ချင်သူများအတွက် CPU ကို သေးငယ်တဲ့ dataset နဲ့ fine-tuning လုပ်နိုင်တဲ့ လမ်းညွှန်ချက်လည်း ပါဝင်သည်။ သို့သော် fine-tuning ရလဒ်များသည် GPU အသုံးပြုခြင်း၊ ပိုကြီးသော dataset နှင့်အတူ အသုံးပြုသောအခါ ပိုကောင်းသည်ကို သတိပြုပါ။ -1. [Azure ML Studio](https://ml.azure.com/home?wt.mc_id=studentamb_279723) ကို သွားပါ။ +1. [Azure ML Studio](https://ml.azure.com/home?wt.mc_id=studentamb_279723) ကို သွားရောက်ပါ။ -1. *Standard NCADSA100v4 Family* quota ကို တောင်းဖို့ အောက်ပါအတိုင်း လုပ်ဆောင်ပါ။ +1. *Standard NCADSA100v4 Family* quota ကို တောင်းဆိုရန် အောက်ပါအလုပ်ဆောင်ချက်များ ဆောင်ရွက်ပါ။ - - ဘယ်ဘက်မှ tab မှာ **Quota** ကို ရွေးပါ။ - - အသုံးပြုမည့် **Virtual machine family** ကို ရွေးပါ။ ဥပမာအနေနဲ့ *Standard NCADSA100v4 Family Cluster Dedicated vCPUs* ကို ရွေးပါ၊ ဒီထဲမှာ *Standard_NC24ads_A100_v4* GPU ပါဝင်ပါတယ်။ - - နေရာမီနူး (navigation menu) မှာ **Request quota** ကို ရွေးပါ။ + - ဘယ်ဘက် tab မှ **Quota** ကို ရွေးချယ်ပါ။ + - အသုံးပြုမည့် **Virtual machine family** ကို ရွေးချယ်ပါ။ ဥပမာ *Standard NCADSA100v4 Family Cluster Dedicated vCPUs* (Standard_NC24ads_A100_v4 GPU ပါသည်) ကို ရွေးပါ။ + - navigation menu မှ **Request quota** ကို ရွေးချယ်ပါ။ ![Request quota.](../../../../../../translated_images/my/01-04-request-quota.3d3670c3221ab834.webp) - - Request quota စာမျက်နှာမှာ အသုံးပြုလိုတဲ့ **New cores limit** ကိုထည့်ပါ။ ဥပမာ 24။ - - Request quota စာမျက်နှာမှာ **Submit** ကိုရွေးပြီး GPU quota တောင်းပါ။ + - Request quota စာမျက်နှာတွင် အသုံးပြုလိုသော **New cores limit** ကို ထည့်ပါ (ဥပမာ 24)။ + - Request quota စာမျက်နှာတွင် **Submit** ကို နှိပ်၍ GPU quota တောင်းဆိုပါ။ > [!NOTE] -> အသင့်တော်ဆုံး GPU သို့မဟုတ် CPU ကို [Sizes for Virtual Machines in Azure](https://learn.microsoft.com/azure/virtual-machines/sizes/overview?tabs=breakdownseries%2Cgeneralsizelist%2Ccomputesizelist%2Cmemorysizelist%2Cstoragesizelist%2Cgpusizelist%2Cfpgasizelist%2Chpcsizelist) စာတမ်းကို ကိုးကားပြီး ရွေးချယ်နိုင်ပါသည်။ +> သင့်လိုအပ်ချက်အတွက် သင့်တော်သော GPU သို့မဟုတ် CPU ကို ရွေးချယ်နိုင်ရန် [Sizes for Virtual Machines in Azure](https://learn.microsoft.com/azure/virtual-machines/sizes/overview?tabs=breakdownseries%2Cgeneralsizelist%2Ccomputesizelist%2Cmemorysizelist%2Cstoragesizelist%2Cgpusizelist%2Cfpgasizelist%2Chpcsizelist) စာရွက်ကို ကြည့်ရှုနိုင်သည်။ -### Role assignment ထည့်သွင်းခြင်း +### Role တာဝန်ပေးခြင်း ထည့်သွင်းခြင်း -သင့်မော်ဒယ်များကို fine-tune လုပ်နဲ့ ဖြန့်ချိဖို့ User Assigned Managed Identity (UAI) တစ်ခုဖန်တီးပြီး လိုအပ်တဲ့ခွင့်ပြုချက်များထားရှိရမယ်။ ဒီ UAI ကို deployment အတွင်း authentification အတွက်အသုံးပြုမှာဖြစ်ပါတယ်။ +မော်ဒယ်များကို ပြင်ဆင်တပ်ဆင်ဖို့ User Assigned Managed Identity (UAI) တစ်ခု ဖန်တီးပြီး သင့်တပ်ဆင်မှုအတွက် လိုအပ်သော အခွင့်အရေးများပေးဖို့ လိုသည်။ #### User Assigned Managed Identity (UAI) ဖန်တီးခြင်း -1. Portal စာမျက်နှာအပေါ်ဆုံး ရှာဖွေရေးခြင်း **search bar** မှာ *managed identities* ဟုတ်ပါတယ်ရေးပြီး ရွေးချယ်ဟန်ချက်တွေထဲက **Managed Identities** ကို ရွေးချယ်ပါ။ +1. Portal စာမျက်နှာအပေါ် ရှာဖွေရေး အဆင့်ကျသော အပိုင်းတွင် *managed identities* ဟု ရိုက်ထည့်ပြီး **Managed Identities** ကို ရွေးချယ်ပါ။ ![Type managed identities.](../../../../../../translated_images/my/01-05-type-managed-identities.9297b6039874eff8.webp) -1. **+ Create** ကို ရွေးပါ။ +1. **+ Create** ကို ရွေးချယ်ပါ။ ![Select create.](../../../../../../translated_images/my/01-06-select-create.936d8d66d7144f9a.webp) -1. အောက်ပါအချက်များကိုပြုလုပ်ပါ။ +1. အောက်ပါအလုပ်ဆောင်ချက်များ ဆောင်ရွက်ပါ။ - - သင့် Azure **Subscription** ကို ရွေးပါ။ - - အသုံးပြုမည့် **Resource group** ကို ရွေးပါ (လိုအပ်လျှင် အသစ်ဖန်တီးပါ)။ - - အသုံးပြုမည့် **Region** ကို ရွေးပါ။ - - **Name** ထည့်ပါ။ တူမယ့် အမည် မရှိရပါ။ + - သင့် Azure **Subscription** ကို ရွေးချယ်ပါ။ + - အသုံးပြုမည့် **Resource group** ကို ရွေးချယ်ပါ (လိုအပ်ပါက အသစ် ဖန်တီးပါ)။ + - အသုံးပြုလိုသည့် **Region** ကို ရွေးချယ်ပါ။ + - **Name** ထည့်ပါ၊ တစ်ခုထူးခြားသောတန်ဖိုး ဖြစ်ရပါမည်။ -1. **Review + create** ကို ရွေးပါ။ +1. **Review + create** ကို ရွေးချယ်ပါ။ -1. **+ Create** ကို ရွေးပါ။ +1. **+ Create** ကို ရွေးချယ်ပါ။ -#### Contributor role assignment ကို Managed Identity သို့ ထည့်သွင်းခြင်း +#### Managed Identity ထံ Contributor role တာဝန်ပေးခြင်း ထည့်သွင်းခြင်း -1. ဖန်တီးပြီးသား Managed Identity resource သို့ သွားပါ။ +1. ဖန်တီးပြီးသော Managed Identity အရင်းအမြစ်သို့ သွားပါ။ -1. ဘယ်ဘက်မှ tab မှာ **Azure role assignments** ကို ရွေးပါ။ +1. ဘယ်ဘက် tab မှ **Azure role assignments** ကို ရွေးချယ်ပါ။ -1. နေရာမီနူး (navigation menu) မှာ **+Add role assignment** ကို ရွေးပါ။ +1. navigation menu မှ **+Add role assignment** ကို ရွေးချယ်ပါ။ -1. Add role assignment စာမျက်နှာအတွင်း အောက်ပါအတိုင်း ပြုလုပ်ပါ။ - - **Scope** ကို **Resource group** သတ်မှတ်ပါ။ - - သင့် Azure **Subscription** ကို ရွေးပါ။ - - အသုံးပြုမည့် **Resource group** ကို ရွေးပါ။ - - **Role** ကို **Contributor** သတ်မှတ်ပါ။ +1. Add role assignment စာမျက်နှာအတွင်း အောက်ပါ အလုပ်ဆောင်ချက်များ ဆောင်ရွက်ပါ။ + - **Scope** ကို **Resource group** သို့ ပြောင်းပါ။ + - သင့် Azure **Subscription** ကို ရွေးချယ်ပါ။ + - အသုံးပြုမည့် **Resource group** ကို ရွေးချယ်ပါ။ + - **Role** ကို **Contributor** ဟု ရွေးချယ်ပါ။ ![Fill contributor role.](../../../../../../translated_images/my/01-07-fill-contributor-role.29ca99b7c9f687e0.webp) -1. **Save** ကို ရွေးပါ။ +1. **Save** ကို နှိပ်ပါ။ -#### Storage Blob Data Reader role assignment ကို Managed Identity သို့ ထည့်သွင်းခြင်း +#### Managed Identity ထံ Storage Blob Data Reader role တာဝန်ပေးခြင်း ထည့်သွင်းခြင်း -1. Portal မှာ **search bar** အပေါ်ဆုံးမှာ *storage accounts* ဟုတ်ပါတယ်ရေးပြီး ရွေးချယ်စရာတွေထဲက **Storage accounts** ကို ရွေးပါ။ +1. Portal စာမျက်နှာအပေါ် ရှာဖွေရေး အဆင့်ကျသော အပိုင်းတွင် *storage accounts* ဟု ရိုက်ထည့်ပြီး **Storage accounts** ကို ရွေးချယ်ပါ။ ![Type storage accounts.](../../../../../../translated_images/my/01-08-type-storage-accounts.1186c8e42933e49b.webp) -1. Azure Machine Learning workspace ကို ဖန်တီးတဲ့ storage account ကို ရွေးပါ။ ဥပမာ *finetunephistorage*။ +1. Azure Machine Learning workspace တည်ဆောက်ရာတွင် အသုံးပြုထားသော storage account ကို ရွေးချယ်ပါ။ ဥပမာ *finetunephistorage*။ -1. Add role assignment စာမျက်နှာသို့ သွားဖို့ အောက်ပါအတိုင်း လုပ်ဆောင်ပါ။ +1. Add role assignment စာမျက်နှာ သို့ သွားရှိရန် အောက်ပါ အလုပ်ဆောင်ချက်များ ဆောင်ရွက်ပါ။ - - အသုံးပြုထားသော Azure Storage account သို့ သွားပါ။ - - ဘယ်ဘက် tab မှာ **Access Control (IAM)** ကို ရွေးပါ။ - - နေရာမီနူး (navigation menu) မှာ **+ Add** ကိုရွေးပါ။ - - နေရာမီနူးမှာ **Add role assignment** ကို ရွေးပါ။ + - ဖန်တီးထားသော Azure Storage account သို့ သွားပါ။ + - ဘယ်ဘက် tab မှ **Access Control (IAM)** ကို ရွေးချယ်ပါ။ + - navigation menu မှ **+ Add** ကို ရွေးချယ်ပါ။ + - navigation menu မှ **Add role assignment** ကို ရွေးချယ်ပါ။ ![Add role.](../../../../../../translated_images/my/01-09-add-role.d2db22fec1b187f0.webp) -1. Add role assignment စာမျက်နှာအတွင်း အောက်ပါအတိုင်း လုပ်ဆောင်ပါ။ +1. Add role assignment စာမျက်နှာအတွင်း အောက်ပါ အလုပ်ဆောင်ချက်များ ဆောင်ရွက်ပါ။ - - Role စာမျက်နှာမှာ **search bar** ထဲ *Storage Blob Data Reader* ဟုတ်ပါတယ်ရေးပြီး ရွေးချယ်ပါ။ - - Role စာမျက်နှာမှာ **Next** ကို ရွေးပါ။ - - Members စာမျက်နှာမှာ **Assign access to** ကို **Managed identity** သတ်မှတ်ပါ။ - - Members စာမျက်နှာမှာ **+ Select members** ကို ရွေးပါ။ - - Select managed identities စာမျက်နှာမှာ သင့် Azure **Subscription** ကို ရွေးပါ။ - - Select managed identities စာမျက်နှာမှာ **Managed identity** ကို **Manage Identity** အဖြစ် ရွေးပါ။ - - Select managed identities စာမျက်နှာမှာ ဖန်တီးထားတဲ့ Manage Identity ကို ရွေးပါ။ ဥပမာ *finetunephi-managedidentity*။ - - Select managed identities စာမျက်နှာမှာ **Select** ကို ရွေးပါ။ + - Role စာမျက်နှာတွင် *Storage Blob Data Reader* ဟု ရိုက်ထည့်ပြီး သက်ဆိုင်ရာ ရွေးချယ်ပါ။ + - Role စာမျက်နှာတွင် **Next** ကို နှိပ်ပါ။ + - Members စာမျက်နှာတွင် **Assign access to** အား **Managed identity** ဟု ရွေးပါ။ + - Members စာမျက်နှာတွင် **+ Select members** ကို နှိပ်ပါ။ + - Select managed identities စာမျက်နှာတွင် သင့် Azure **Subscription** ကို ရွေးချယ်ပါ။ + - Select managed identities စာမျက်နှာတွင် **Managed identity** အတွက် **Manage Identity** ကို ရွေးပါ။ + - Select managed identities စာမျက်နှာတွင် ဖန်တီးထားသော Manage Identity ကို ရွေးပါ။ ဥပမာ *finetunephi-managedidentity*။ + - Select managed identities စာမျက်နှာတွင် **Select** ကို နှိပ်ပါ။ ![Select managed identity.](../../../../../../translated_images/my/01-10-select-managed-identity.5ce5ba181f72a4df.webp) -1. **Review + assign** ကို ရွေးပါ။ +1. **Review + assign** ကို နှိပ်ပါ။ -#### AcrPull role assignment ကို Managed Identity သို့ ထည့်သွင်းခြင်း +#### Managed Identity ထံ AcrPull role တာဝန်ပေးခြင်း ထည့်သွင်းခြင်း -1. Portal မှာ **search bar** အပေါ်ဆုံးမှာ *container registries* ဟုတ်ပါတယ်ရေးပြီး ရွေးချယ်စရာတွေထဲက **Container registries** ကို ရွေးပါ။ +1. Portal စာမျက်နှာအပေါ် ရှာဖွေရေး အဆင့်ကျသော အပိုင်းတွင် *container registries* ဟု ရိုက်ထည့်ပြီး **Container registries** ကို ရွေးချယ်ပါ။ ![Type container registries.](../../../../../../translated_images/my/01-11-type-container-registries.ff3b8bdc49dc596c.webp) -1. Azure Machine Learning workspace နဲ့ ဆက်သွယ်တဲ့ container registry ကို ရွေးပါ။ ဥပမာ *finetunephicontainerregistries* +1. Azure Machine Learning workspace တွင် အသုံးပြုသော container registry ကို ရွေးချယ်ပါ။ ဥပမာ *finetunephicontainerregistries*။ -1. Add role assignment စာမျက်နှာသို့ သွားဖို့ အောက်ပါအတိုင်း လုပ်ဆောင်ပါ။ +1. Add role assignment သို့သွားရန် အောက်ပါ အလုပ်ဆောင်ချက်များ ဆောင်ရွက်ပါ။ - - ဘယ်ဘက် tab မှာ **Access Control (IAM)** ကို ရွေးပါ။ - - နေရာမီနူး (navigation menu) မှာ **+ Add** ကို ရွေးပါ။ - - နေရာမီနူးမှာ **Add role assignment** ကို ရွေးပါ။ + - ဘယ်ဘက် tab မှ **Access Control (IAM)** ကို ရွေးချယ်ပါ။ + - navigation menu မှ **+ Add** ကို ရွေးချယ်ပါ။ + - navigation menu မှ **Add role assignment** ကို ရွေးချယ်ပါ။ -1. Add role assignment စာမျက်နှာအတွင်း အောက်ပါအတိုင်း လုပ်ဆောင်ပါ။ +1. Add role assignment စာမျက်နှာတွင် အောက်ပါ အလုပ်များ ဆောင်ရွက်ပါ။ - - Role စာမျက်နှာမှာ **search bar** ထဲ *AcrPull* ဟုတ်ပါတယ်ရေးပြီး ရွေးချယ်ပါ။ - - Role စာမျက်နှာမှာ **Next** ကို ရွေးပါ။ - - Members စာမျက်နာမှာ **Assign access to** ကို **Managed identity** သတ်မှတ်ပါ။ - - Members စာမျက်နာမှာ **+ Select members** ကို ရွေးပါ။ - - Select managed identities စာမျက်နာမှာ သင့် Azure **Subscription** ကို ရွေးပါ။ - - Select managed identities စာမျက်နာမှာ **Managed identity** ကို **Manage Identity** အဖြစ် ရွေးပါ။ - - Select managed identities စာမျက်နာမှာ ဖန်တီးထားတဲ့ Manage Identity ကို ရွေးပါ။ ဥပမာ *finetunephi-managedidentity*။ - - Select managed identities စာမျက်နာမှာ **Select** ကို ရွေးပါ။ - - **Review + assign** ကို ရွေးပါ။ + - Role စာမျက်နှာတွင် *AcrPull* ဟု ရိုက်ထည့်ပြီး သက်ဆိုင်ရာ ရွေးချယ်ပါ။ + - Role စာမျက်နှာတွင် **Next** ကို နှိပ်ပါ။ + - Members စာမျက်နှာတွင် **Assign access to** အား **Managed identity** ဟု ရွေးပါ။ + - Members စာမျက်နှာတွင် **+ Select members** ကို နှိပ်ပါ။ + - Select managed identities စာမျက်နှာတွင် သင့် Azure **Subscription** ကို ရွေးချယ်ပါ။ + - Select managed identities စာမျက်နှာတွင် **Managed identity** အတွက် **Manage Identity** ကို ရွေးပါ။ + - Select managed identities စာမျက်နှာတွင် ဖန်တီးထားသော Manage Identity ကို ရွေးပါ။ ဥပမာ *finetunephi-managedidentity*။ + - Select managed identities စာမျက်နှာတွင် **Select** ကို နှိပ်ပါ။ + - **Review + assign** ကို ရွေးချယ်ပါ။ -### ပရောဂျက်တစ်ခု စတင်တည်ဆောက်ခြင်း +### Project တည်ဆောက်ခြင်း -အခုတော့ သင်ဟာ အလုပ်လုပ်မယ့် ဖိုင်လ်ဒါတစ်ခု ဖန်တီးပြီး အဖတ်ရတာခံစားချက်ရှိဖို့ အွန်လိုင်း chat ဒေတာများကို Azure Cosmos DB မှ ထိန်းသိမ်းထားတဲ့ chat history ကို အသုံးပြုပြီး အသုံးပြုသူနဲ့ ဆက်ဆံမှုရှိတဲ့ အက်ပလီကေးရှင်းတစ်ခု ဖွံ့ဖြိုးရေးရန် virtual environment တစ်ခု တည်ဆောက်ဖို့ ဆောင်ရွက်မှာ ဖြစ်ပါတယ်။ +ယခု သင်သည် အလုပ်လုပ်ရန် ဖိုလ်ဒါတစ်ခု ဖန်တီးပြီး အသုံးပြုသူများနှင့် ဆက်သွယ် ဆောင်ရွက်မည့် ပြုပြင်ရေးစနစ်တစ်ခု ဖန်တီးရာတွင် virtual environment ကို တည်ဆောက်သွားမှာဖြစ်သည်။ ထိုစနစ်တွင် Azure Cosmos DB တွင် သိမ်းဆည်းထားသော စကားပြောမှတ်တမ်းများကို အသုံးပြုပြီး တုံ့ပြန်ချက်ပေးသည်။ -#### အလုပ်လုပ်မယ့် ဖိုင်လ်ဒါတစ်ခု ဖန်တီးခြင်း +#### အလုပ်လုပ်မည့် ဖိုလ်ဒါ ဖန်တီးခြင်း -1. Terminal ပေါက်ပြီး ပုံမှန်လမ်းကြောင်းမှာ *finetune-phi* ဆိုတဲ့ ဖိုင်လ်ဒါတစ်ခု ဖန်တီးရန် အောက်ပါ command ကို ရိုက်ထည့်ပါ။ +1. Terminal ဝင်းဒိုးဖြင့် *finetune-phi* ဟု နေရာအန္တရာယ်လမ်းကြောင်းတွင် ဖိုလ်ဒါဖန်တီးရန် အောက်ပါ command ကို ရိုက်ထည့်ပါ။ ```console mkdir finetune-phi ``` -1. ဖန်တီးထားတဲ့ *finetune-phi* ဖိုင်လ်ဒါထဲသို့ သွားရန် အောက်ပါ command ကို terminal ထဲမှာ ရိုက်ထည့်ပါ။ +1. ဖန်တီးထားသော *finetune-phi* ဖိုလ်ဒါထဲသို့ သွားရန် terminal တွင် အောက်ပါ command ကို ရိုက်ထည့်ပါ။ ```console cd finetune-phi ``` -#### virtual environment တည်ဆောက်ခြင်း +#### Virtual environment တည်ဆောက်ခြင်း -1. *.venv* ဆိုတဲ့ virtual environment တစ်ခု ဖန်တီးရန် အောက်ပါ command ကို terminal ထဲမှာ ရိုက်ထည့်ပါ။ +1. *.venv* ဟု အမည်ပေးထားသော virtual environment ဖန်တီးရန် terminal တွင် နောက်ထပ် command ကို ရိုက်ထည့်ပါ။ ```console python -m venv .venv ``` -1. virtual environment ကို လှုပ်ချင်ပါက အောက်ပါ command ကို terminal ထဲမှာ ရိုက်ထည့်ပါ။ +1. Virtual environment ကို ဖွင့်ရန် terminal တွင် အောက်ပါ command ကို ရိုက်ထည့်ပါ။ ```console .venv\Scripts\activate.bat @@ -226,11 +226,11 @@ > [!NOTE] > -> အကယ်၍ အလားတူဖြစ်နေခဲ့လျှင် command prompt ရှေ့မှာ *(.venv)* ဆိုသည်ကို မြင်ရပါမည်။ +> အလုပ်လုပ်မှုမှန်ကန်ပါက command prompt မတိုင်မီ *(.venv)* ဟု မြင်ရပါလိမ့်မည်။ #### လိုအပ်သော packages များ ထည့်သွင်းခြင်း -1. လိုအပ်တဲ့ packages များကို ထည့်သွင်းဖို့ အောက်ပါ command များကို terminal ထဲတွင် ရိုက်ထည့်ပါ။ +1. လိုအပ်သော packages များ အပ်ဒိတ်အတွက် terminal ထဲတွင် အောက်ပါ command များ ရိုက်ထည့်ပါ။ ```console pip install datasets==2.19.1 @@ -241,23 +241,25 @@ pip install promptflow==1.12.0 ``` -#### ပရောဂျက် ဖိုင်များ ဖန်တီးခြင်း -ဒီ လေ့ကျင့်ခန်းမှာ ကျွန်တော်တို့ project အတွက် အရေးပါတဲ့ ဖိုင်တွေကို ဖန်တီးမှာ ဖြစ်ပါတယ်။ ဒီဖိုင်တွေမှာ ဒေတာစနစ်ဒေါင်းလုပ်လုပ်ဖို့ ဇာတ်ကြောင်း (scripts), Azure Machine Learning ပတ်ဝန်းကျင် ဆောက်လုပ်ခြင်း, Phi-3 မော်ဒယ်ကို ကောင်းမွန်စွာသင်းတင်ခြင်း, သင်းတင်ပြီး မော်ဒယ်ကို ထုတ်ဝေခြင်း စတဲ့အရာတွေ ပါဝင်ပါတယ်။ ကောင်းမွန်စွာ သင်းတင်ဖို့ အတွက် *conda.yml* ဖိုင်ကိုလည်း ဖန်တီးပါမယ်။ +#### Project ဖိုင်များ ဖန်တီးခြင်း -ဒီ လေ့ကျင့်ခန်းမှာ သင်မှာ - +ဒီ လေ့ကျင့်မှုမှာ စာရင်းထဲက အဓိကဖိုင်တွေမှာ dataset ကို ဒေါင်းလုပ်လုပ်တဲ့ script, Azure Machine Learning environment ကို ပြင်ဆင်ထားတဲ့ script, Phi-3 မော်ဒယ်ကို ပြင်ဆင်ရာ script နဲ့ ပြင်ဆင်ပြီး မော်ဒယ်ကို တပ်ဆင်တဲ့ script အပါအဝင် ဖိုင်တွေကို ဖန်တီးသွားမှာဖြစ်ပြီး fine-tuning environment အတွက် *conda.yml* ဖိုင်ကိုလည်း တည်ဆောက်ပါမယ်။ -- ဒေတာစနစ် ဒေါင်းလုပ်လုပ်ဖို့ *download_dataset.py* ဖိုင်ကို ဖန်တီးပါ။ -- Azure Machine Learning ပတ်ဝန်းကျင် စီမံခန့်ခွဲဖို့ *setup_ml.py* ဖိုင်ကို ဖန်တီးပါ။ -- *finetuning_dir* ဖိုလ်ဒါထဲမှာ Phi-3 မော်ဒယ်ကို ဒေတာစနစ်အသုံးပြုကာ ကောင်းမွန်စွာ သင်းတင်ဖို့ *fine_tune.py* ဖိုင်ကို ဖန်တီးပါ။ -- ကောင်းမွန်စွာ သင်းတင်ပတ်ဝန်းကျင် ပြင်ဆင်ဖို့ *conda.yml* ဖိုင်ကို ဖန်တီးပါ။ -- သင်းတင်ပြီး မော်ဒယ်ကို ထုတ်ဝေဖို့ *deploy_model.py* ဖိုင်ကို ဖန်တီးပါ။ -- သင်းတင်ပြီး မော်ဒယ်ကို Prompt flow နဲ့ ပေါင်းသင်းပြီး မော်ဒယ်ကို အလိုအလျောက် စမ်းသပ်ရန် *integrate_with_promptflow.py* ဖိုင်ကို ဖန်တီးပါ။ -- Prompt flow အလုပ်လုပ်ပုံ စနစ်တကျဖော်ထုတ်ဖို့ *flow.dag.yml* ဖိုင်ကို ဖန်တီးပါ။ -- Azure အချက်အလက်တွေ ထည့်ရန် *config.py* ဖိုင်ကို ဖန်တီးပါ။ +ဒီ လေ့ကျင့်မှုတွင် သင်လုပ်ဆောင်မည့်အချက်များမှာ - + +- Dataset ကို ဒေါင်းလုပ်လုပ်ရန် *download_dataset.py* ဖိုင်တစ်ခု ဖန်တီးခြင်း။ + +- Azure Machine Learning ပတ်ဝန်းကျင်ကို စတင်ဆောက်လုပ်ရန် *setup_ml.py* ဖိုင်တစ်ခုဖန်တီးပါ။ +- ဒေတာစနစ်ကို အသုံးပြုကာ Phi-3 မော်ဒယ်ကို တိကျစွာသင်ကြားရန်အတွက် *finetuning_dir* ဖိုလ်ဒါတွင် *fine_tune.py* ဖိုင်တစ်ခုဖန်တီးပါ။ +- fine-tuning ပတ်ဝန်းကျင်ကို ဆောက်လုပ်ရန် *conda.yml* ဖိုင်တစ်ခုဖန်တီးပါ။ +- fine-tuned မော်ဒယ်ကို deploy ပြုလုပ်ရန် *deploy_model.py* ဖိုင်တစ်ခုဖန်တီးပါ။ +- fine-tuned မော်ဒယ်နှင့် Prompt flow ကို ပေါင်းစည်းအသုံးပြုရန်နှင့် မော်ဒယ်ကို Prompt flow ဖြင့် 실행ရန် *integrate_with_promptflow.py* ဖိုင်တစ်ခုဖန်တီးပါ။ +- Prompt flow အတွက် workflow ဖွဲ့စည်းမှုကို စတင်ဆောက်လုပ်ရန် flow.dag.yml ဖိုင်တစ်ခု ဖန်တီးပါ။ +- Azure သတင်းအချက်အလက်များကို ထည့်သွင်းရန် *config.py* ဖိုင်တစ်ခု ဖန်တီးပါ။ > [!NOTE] > -> ပြည့်စုံသော ဖိုလ်ဒါ အဆက်အစပ်များ: +> ပြည့်စုံသောဖိုလ်ဒါ ဖွဲ့စည်းမှု - > > ```text > └── YourUserName @@ -273,34 +275,33 @@ > . └── setup_ml.py > ``` - 1. **Visual Studio Code** ကို ဖွင့်ပါ။ -1. မီနူးဘားမှာ **File** ကို ရွေးပါ။ +1. မီနူးဘားမှ **File** ကို ရွေးချယ်ပါ။ -1. **Open Folder** ကို ရွေးပါ။ +1. **Open Folder** ကို ရွေးချယ်ပါ။ -1. သင့်ဖန်တီးထားသော *finetune-phi* ဖိုလ်ဒါကို ရွေးပါ၊ *C:\Users\yourUserName\finetune-phi* တွင် တည်ရှိသည်။ +1. သင်ဖန်တီးထားသော *finetune-phi* ဖိုလ်ဒါ၊ တည်နေရာမှာ *C:\Users\yourUserName\finetune-phi* ကို ရွေးချယ်ပါ။ ![Open project floder.](../../../../../../translated_images/my/01-12-open-project-folder.1fff9c7f41dd1639.webp) -1. Visual Studio Code ၏ ဘယ်ဘက် panel တွင် Right-click လုပ်ပြီး **New File** ကို ရွေး ပြီး *download_dataset.py* အမည်ရှိ ဖိုင်အသစ်တစ်ခု ဖန်တီးပါ။ +1. Visual Studio Code ၏ ဘယ်ဖက်ပောက်အရှေ့တွင် ညာနှိပ်ပြီး **New File** ကို ရွေးချယ်ကာ *download_dataset.py* ဆိုသော ဖိုင်အသစ်ကို ဖန်တီးပါ။ -1. ဘယ်ဘက် panel တွင် Right-click လုပ်ပြီး **New File** ကို ရွေးပြီး *setup_ml.py* အမည်ရှိ ဖိုင်အသစ်တစ်ခု ဖန်တီးပါ။ +1. Visual Studio Code ၏ ဘယ်ဖက်ပောက်အရှေ့တွင် ညာနှိပ်ပြီး **New File** ကို ရွေးချယ်ကာ *setup_ml.py* ဆိုသော ဖိုင်အသစ်ကို ဖန်တီးပါ။ -1. ဘယ်ဘက် panel တွင် Right-click လုပ်ပြီး **New File** ကို ရွေးပြီး *deploy_model.py* အမည်ရှိ ဖိုင်အသစ်တစ်ခု ဖန်တီးပါ။ +1. Visual Studio Code ၏ ဘယ်ဖက်ပောက်အရှေ့တွင် ညာနှိပ်ပြီး **New File** ကို ရွေးချယ်ကာ *deploy_model.py* ဆိုသော ဖိုင်အသစ်ကို ဖန်တီးပါ။ ![Create new file.](../../../../../../translated_images/my/01-13-create-new-file.c17c150fff384a39.webp) -1. ဘယ်ဘက် panel တွင် Right-click လုပ်ပြီး **New Folder** ကို ရွေးပြီး *finetuning_dir* အမည်ရှိ ဖိုလ်ဒါအသစ် တစ်ခု ဖန်တီးပါ။ +1. Visual Studio Code ၏ ဘယ်ဖက်ပေါ်တွင် ညာနှိပ်ပြီး **New Folder** ကို ရွေးချယ်ကာ *finetuning_dir* ဆိုသော ဖိုလ်ဒါအသစ်တစ်ခု ဖန်တီးပါ။ -1. *finetuning_dir* ဖိုလ်ဒါထဲတွင် *fine_tune.py* အမည်ရှိ ဖိုင်အသစ် တစ်ခု ဖန်တီးပါ။ +1. *finetuning_dir* ဖိုလ်ဒါအတွင်းတွင် *fine_tune.py* ဖိုင်အသစ်ကို ဖန်တီးပါ။ -#### *conda.yml* ဖိုင် ဖန်တီးပြီး ပြင်ဆင်ခြင်း +#### *conda.yml* ဖိုင် ဖန်တီး၍ ဆက်တင်လုပ်ငန်းများပြုလုပ်ခြင်း -1. Visual Studio Code ၏ ဘယ်ဘက် panel တွင် Right-click လုပ်ပြီး **New File** ကို ရွေးပြီး *conda.yml* အမည်ရှိ ဖိုင်အသစ် တစ်ခု ဖန်တီးပါ။ +1. Visual Studio Code ၏ ဘယ်ဖက်ပေါ်တွင် ညာနှိပ်ပြီး **New File** ကို ရွေးချယ်ကာ *conda.yml* ဖိုင်အသစ်ကို ဖန်တီးပါ။ -1. Phi-3 မော်ဒယ်အတွက် ကောင်းမွန်စွာ သင်းတင်ပတ်ဝန်းကျင် ဆောက်လုပ်ရန် *conda.yml* ဖိုင်ထဲသို့ အောက်ပါ ကုဒ်များကိုထည့်ပါ။ +1. Phi-3 မော်ဒယ်အတွက် fine-tuning ပတ်ဝန်းကျင်ကို စတင်ဆောက်လုပ်ရန် *conda.yml* ဖိုင်တွင် အောက်ပါ ကုဒ်များထည့်ပါ။ ```yml name: phi-3-training-env @@ -326,31 +327,30 @@ - azureml-mlflow==1.57.0 ``` +#### *config.py* ဖိုင် ဖန်တီး၍ ဆက်တင်ပြင်ဆင်ခြင်း -#### *config.py* ဖိုင် ဖန်တီးပြီး ပြင်ဆင်ခြင်း +1. Visual Studio Code ၏ ဘယ်ဖက်ပေါ်တွင် ညာနှိပ်ပြီး **New File** ကို ရွေးချယ်ကာ *config.py* ဖိုင်အသစ်ကို ဖန်တီးပါ။ -1. Visual Studio Code ၏ ဘယ်ဘက် panel တွင် Right-click လုပ်ပြီး **New File** ကို ရွေးပြီး *config.py* အမည်ရှိ ဖိုင်အသစ် တစ်ခု ဖန်တီးပါ။ - -1. Azure အချက်အလက်များ ထည့်သွင်းရန် *config.py* ဖိုင်ထဲ သို့ အောက်ပါ ကုဒ်များကို ထည့်ပါ။ +1. Azure သတင်းအချက်အလက်များကို ထည့်သွင်းရန်အတွက် *config.py* ဖိုင်တွင် အောက်ပါ ကုဒ်များထည့်ပါ။ ```python # Azure ဆက်တင်များ AZURE_SUBSCRIPTION_ID = "your_subscription_id" AZURE_RESOURCE_GROUP_NAME = "your_resource_group_name" # "TestGroup" - # Azure မော်ဒယ်သင်ယူမှုဆက်တင်များ + # Azure Machine Learning ဆက်တင်များ AZURE_ML_WORKSPACE_NAME = "your_workspace_name" # "finetunephi-workspace" - # Azure စီမံအုပ်ချုပ်ထားသည့် မှတဆင့်အတည်ပြုမှတ်ပုံတင် ဆက်တင်များ + # Azure စီမံခန့်ခွဲသော ကိုယ်ပိုင်အတူတကွ အကြောင်းအရာများ AZURE_MANAGED_IDENTITY_CLIENT_ID = "your_azure_managed_identity_client_id" AZURE_MANAGED_IDENTITY_NAME = "your_azure_managed_identity_name" # "finetunephi-mangedidentity" AZURE_MANAGED_IDENTITY_RESOURCE_ID = f"/subscriptions/{AZURE_SUBSCRIPTION_ID}/resourceGroups/{AZURE_RESOURCE_GROUP_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{AZURE_MANAGED_IDENTITY_NAME}" - # ဒေတာဖိုင်လမ်းကြောင်းများ + # ဒေတာစုဆောင်းမှုဖိုင်လမ်းကြောင်းများ TRAIN_DATA_PATH = "data/train_data.jsonl" TEST_DATA_PATH = "data/test_data.jsonl" - # လိုက်လံပြုပြင်ထားသည့် မော်ဒယ်ဆက်တင်များ + # ပြင်ဆင်ပြီး မော်ဒယ်ဆက်တင်များ AZURE_MODEL_NAME = "your_fine_tuned_model_name" # "finetune-phi-model" AZURE_ENDPOINT_NAME = "your_fine_tuned_model_endpoint_name" # "finetune-phi-endpoint" AZURE_DEPLOYMENT_NAME = "your_fine_tuned_model_deployment_name" # "finetune-phi-deployment" @@ -359,47 +359,46 @@ AZURE_ML_ENDPOINT = "your_fine_tuned_model_endpoint_uri" # "https://{your-endpoint-name}.{your-region}.inference.ml.azure.com/score" ``` +#### Azure ပတ်ဝန်းကျင် environment variables ထည့်သွင်းခြင်း -#### Azure ပတ်ဝန်းကျင် မဟာတန်းများ ထည့်သွင်းခြင်း - -1. Azure Subscription ID ထည့်ရန် အောက်ပါအဆင့်များကို လုပ်ဆောင်ပါ: +1. Azure Subscription ID ထည့်ရန်အတွက် အောက်ပါ လုပ်ဆောင်ချက်များ ပြုလုပ်ပါ။ - - ပေါ်တယ် မျက်နှာပြင် ထိပ်၌ရှိသည့် **ရှာဖွေမှု စာမျက်နှာ** တွင် *subscriptions* ကို ရိုက်ထည့်ပြီး ပေါ်လာသော ရွေးချယ်စရာများမှ **Subscriptions** ကို ရွေးပါ။ - - သင် အသုံးပြုနေသော Azure Subscription ကို ရွေးပါ။ - - သင့် Subscription ID ကို ကူးယူပြီး *config.py* ဖိုင်ထဲသို့ ကူးထည့်ပါ။ + - ပေါ်တယ်၏ အပေါ်အကြောင်းကြားစာသား search bar တွင် *subscriptions* ဟု ရိုက်ထည့်ပြီး ဖော်ပြသော options များထဲမှ **Subscriptions** ကို ရွေးချယ်ပါ။ + - သင့်ကေန အခုအသုံးပြုနေသော Azure Subscription ကို ရွေးချယ်ပါ။ + - Subscription ID ကို ကူးယူပြီး *config.py* ဖိုင်ထဲသို့ ပ Paste လုပ်ပါ။ ![Find subscription id.](../../../../../../translated_images/my/01-14-find-subscriptionid.4f4ca33555f1e637.webp) -1. Azure Workspace Name ထည့်ရန် အောက်ပါအဆင့်များကို လုပ်ဆောင်ပါ: +1. Azure Workspace Name ထည့်ရန်အတွက် အောက်ပါ လုပ်ဆောင်ချက်များ ပြုလုပ်ပါ။ - - သင် ဖန်တီးထားသော Azure Machine Learning resource သို့ သွားပါ။ - - သင့်အကောင့်အမည်ကို ကူးယူပြီး *config.py* ဖိုင်ထဲထည့်ပါ။ + - ဖန်တီးထားသော Azure Machine Learning resource သို့ သွားပါ။ + - အကောင့်အမည်ကို ကူးယူပြီး *config.py* ဖိုင်ထဲသို့ ပ Paste လုပ်ပါ။ ![Find Azure Machine Learning name.](../../../../../../translated_images/my/01-15-find-AZML-name.1975f0422bca19a7.webp) -1. Azure Resource Group Name ထည့်ရန် အောက်ပါအဆင့်များကို လုပ်ဆောင်ပါ: +1. Azure Resource Group Name ထည့်ရန်အတွက် အောက်ပါ လုပ်ဆောင်ချက်များ ပြုလုပ်ပါ။ - - သင် ဖန်တီးထားသော Azure Machine Learning resource သို့ သွားပါ။ - - သင့် Azure Resource Group Name ကို ကူးယူပြီး *config.py* ဖိုင် ထဲသို့ ထည့်ပါ။ + - ဖန်တီးထားသော Azure Machine Learning resource သို့ သွားပါ။ + - Azure Resource Group Name ကို ကူးယူပြီး *config.py* ဖိုင်ထဲသို့ ပ Paste လုပ်ပါ။ ![Find resource group name.](../../../../../../translated_images/my/01-16-find-AZML-resourcegroup.855a349d0af134a3.webp) -2. Azure Managed Identity name ထည့်ရန် အောက်ပါ အဆင့်များကို လုပ်ဆောင်ပါ +2. Azure Managed Identity အမည် ထည့်ရန် အောက်ပါ လုပ်ဆောင်ချက်များ ပြုလုပ်ပါ။ - - သင် ဖန်တီးထားသော Managed Identities resource သို့ သွားပါ။ - - သင့် Azure Managed Identity name ကို ကူးယူပြီး *config.py* ဖိုင် ထဲသို့ထည့်ပါ။ + - ဖန်တီးထားသော Managed Identities resource သို့ သွားပါ။ + - Azure Managed Identity အမည်ကို ကူးယူပြီး *config.py* ဖိုင်ထဲသို့ ပ Paste လုပ်ပါ။ ![Find UAI.](../../../../../../translated_images/my/01-17-find-uai.3529464f53499827.webp) -### ကောင်းမွန်စွာ သင်းတင်ရန် ဒေတာစနစ် ပြင်ဆင်ခြင်း +### fine-tuning အတွက် dataset ပြင်ဆင်ခြင်း -ဒီလေ့ကျင့်ခန်းမှာ *download_dataset.py* ဖိုင်ကို ပြေးသွားပြီး *ULTRACHAT_200k* ဒေတာစုစည်းမှုများကို ဒေသခံ ပတ်ဝန်းကျင်တွင် ဒေါင်းလုပ်လုပ်ပါမယ်။ ထို့နောက် ဒီဒေတာစနစ်ကိုသုံးပြီး Phi-3 မော်ဒယ်ကို Azure Machine Learning မှာ ကောင်းမွန်စွာ သင်းတင်ပါမယ်။ +ဒီလေ့ကျင့်ခန်းတွင် *download_dataset.py* ဖိုင်ကို လည်ပတ်ကာ *ULTRACHAT_200k* dataset များကို သင့်ဒေသတွင် ဒေါင်းလုပ်လုပ်ပါမည်။ နောက်ဆုံးတွင် ဤ dataset များကို အသုံးပြုကာ Azure Machine Learning တွင် Phi-3 မော်ဒယ်ကို fine-tune ပြုလုပ်ပါမည်။ -#### *download_dataset.py* ဖြင့် သင့်ဒေတာစနစ် ဒေါင်းလုပ်လုပ်ခြင်း +#### *download_dataset.py* ဖြင့် dataset ကို ဒေါင်းလုပ်လုပ်ခြင်း -1. Visual Studio Code မှာ *download_dataset.py* ဖိုင်ကိုဖွင့်ပါ။ +1. Visual Studio Code တွင် *download_dataset.py* ဖိုင် ကို ဖွင့်ပါ။ -1. *download_dataset.py* ဖိုင်ထဲသို့ အောက်ပါကုဒ်များကို ထည့်ပါ။ +1. အောက်ပါ ကုဒ်ကို *download_dataset.py* ထဲသို့ ထည့်သွင်းပါ။ ```python import json @@ -413,11 +412,11 @@ """ Load and split a dataset. """ - # သတ်မှတ်ထားသော နာမည်၊ ဖွဲ့စည်းမှု၊ နှင့် ဖြတ်တောက်မှုအချိုးဖြင့် ဒေတာစုစည်းမှုကို ဖတ်ယူပါ + # သတ်မှတ်ထားသောနာမည်၊ ဖွဲ့စည်းမှုနှင့် ခွဲခြားအချိုးအစားဖြင့် ဒေတာစုစည်းမှုကို ဖွင့်ပါ dataset = load_dataset(dataset_name, config_name, split=split_ratio) print(f"Original dataset size: {len(dataset)}") - # ဒေတာစုစည်းမှုကို လေ့လာရေးနှင့် စမ်းသပ်ရေး အစုအဖွဲ့များအဖြစ် (လေ့လာရေး ၈၀%, စမ်းသပ်ရေး ၂၀%) ဖြတ်တောက်ပါ + # ဒေတာစုစည်းမှုကို သင်ကြားမှုနှင့် စမ်းသပ်မှု အစုအဖွဲ့များ (သင်ကြားမှု ၈၀%၊ စမ်းသပ်မှု ၂၀%) ခွဲထုတ်ပါ split_dataset = dataset.train_test_split(test_size=0.2) print(f"Train dataset size: {len(split_dataset['train'])}") print(f"Test dataset size: {len(split_dataset['test'])}") @@ -428,16 +427,16 @@ """ Save a dataset to a JSONL file. """ - # ဖိုလ်ဒါမရှိပါက ဖိုလ်ဒါကို ဖန်တီးပါ + # မရှိပါက ဖိုင်ဖိုလ်ဒါကို ဖန်တီးပါ os.makedirs(os.path.dirname(filepath), exist_ok=True) - # ဖိုင်ကို ရေးသည့်ပုံစံဖြင့် ဖွင့်ပါ + # ဖိုင်ကို ရေးသည့် မုဒ်ဖြင့် ဖွင့်ပါ with open(filepath, 'w', encoding='utf-8') as f: - # ဒေတာစုစည်းမှုရှိသော တစ်တန်းစီကို လှုပ်ရှားပါ + # ဒေတာစုစည်းမှုရှိ တစ်ခုချင်းစီသော မှတ်တမ်းများကို လည်ပတ်ပါ for record in dataset: - # တစ်တန်းစီကို JSON အဖြစ် အချိတ်ထားပြီး ဖိုင်တွင် ရေးသားလိုက်ပါ + # မှတ်တမ်းကို JSON အရာဝတ္ထုအနေနဲ့ ဒေါင်းလုပ်ဆွဲပြီး ဖိုင်ထဲသို့ ရေးပါ json.dump(record, f) - # တစ်တန်းစီအား ခြားနားစေရန် နှစ်ကောင်စာလုံးကို ရေးပါ + # မှတ်တမ်းများကို ခွဲခြားရန် လိုင်း အသစ်အက္ခရာ ထည့်ပါ f.write('\n') print(f"Dataset saved to {filepath}") @@ -446,17 +445,17 @@ """ Main function to load, split, and save the dataset. """ - # သတ်မှတ်ထားသော ဖွဲ့စည်းမှုနှင့် ဖြတ်တောက်မှုအချိုးဖြင့် ULTRACHAT_200k ဒေတာစုစည်းမှုကို ဖတ်ယူ၍ ဖြတ်တောက်ပါ + # သတ်မှတ်ထားသော ဖွဲ့စည်းမှုနှင့် ခွဲခြားအချိုးအစားဖြင့် ULTRACHAT_200k ဒေတာစုစည်းမှုကို ဖွင့်ပြီး ခွဲပါ dataset = load_and_split_dataset("HuggingFaceH4/ultrachat_200k", 'default', 'train_sft[:1%]') - # ဖြတ်တောက်မှုမှ လေ့လာရေးနှင့် စမ်းသပ်ရေး ဒေတာစုစည်းမှုများကို ထုတ်ယူပါ + # ခွဲထုတ်ထားသော အစုများမှ သင်ကြားမှုနှင့် စမ်းသပ်မှု ဒေတာစုစည်းမှုများကို ဆွဲထုတ်ပါ train_dataset = dataset['train'] test_dataset = dataset['test'] - # လေ့လာရေး ဒေတာစုစည်းမှုကို JSONL ဖိုင်တစ်ခုသို့ သိမ်းဆည်းပါ + # သင်ကြားမှု ဒေတာစုစည်းမှုကို JSONL ဖိုင်တွင် သိမ်းဆည်းပါ save_dataset_to_jsonl(train_dataset, TRAIN_DATA_PATH) - # စမ်းသပ်ရေး ဒေတာစုစည်းမှုကို မတူညီသော JSONL ဖိုင်တစ်ခုသို့ သိမ်းဆည်းပါ + # စမ်းသပ်မှု ဒေတာစုစည်းမှုကို အခြား JSONL ဖိုင်တစ်ခုတွင် သိမ်းဆည်းပါ save_dataset_to_jsonl(test_dataset, TEST_DATA_PATH) if __name__ == "__main__": @@ -464,71 +463,67 @@ ``` - > [!TIP] > -> **CPU အသုံးပြု၍ ဒေတာစနစ် သေးငယ်သမျှဖြင့် ကောင်းမွန်စွာ သင်းတင်ခြင်း လမ်းညွှန်** +> **CPU အသုံးပြု၍ အနည်းဆုံး dataset ဖြင့် fine-tuning လုပ်ခြင်းအတွက် ညွှန်ကြားချက်** > -> CPU သုံးယူ လိုသောအခါ၊ Visual Studio Enterprise Subscription ကဲ့သို့သော အကျိုးခံစားခွင့် subscription များရှိသူများသို့မဟုတ် သင်းတင်ခြင်းနှင့် ထုတ်ဝေမှု အသုံးပြုမှုကို မျက်နှာမူမြန်ဆန်စေချင်သူများအတွက် ဤနည်းလမ်း သင့်တော်သည်။ +> CPU ကို အသုံးပြုကာ fine-tuning လုပ်လိုပါက၊ ဤနည်းလမ်းသည် benefit subscription (ဥပမာ Visual Studio Enterprise Subscription) အတွက် သင့်တော်ပြီး၊ fine-tuning နှင့် deployment လုပ်ငန်းစဉ်ကို လျင်မြန်စွာ စမ်းသပ်လိုသူများအတွက် ရည်ရွယ်သည်။ > > `dataset = load_and_split_dataset("HuggingFaceH4/ultrachat_200k", 'default', 'train_sft[:1%]')` ကို `dataset = load_and_split_dataset("HuggingFaceH4/ultrachat_200k", 'default', 'train_sft[:10]')` ဖြင့် အစားထိုးပါ။ > -1. တာမီနယ်ထဲတွင် အောက်ပါ command ကို ရိုက်ထည့်ကာ စကရစ်ပ်ကို ပြေးပြီး ဒေတာစနစ်ကို ဒေသခံပတ်ဝန်းကျင်သို့ ဒေါင်းလုပ်လုပ်ပါ။ +1. သင့် terminal မှာ အောက်ပါ command ကို ရိုက်ထည့်ကာ script ကို 실행၍ ဒေတာများကို ဒေသခံ ပတ်ဝန်းကျင်သို့ ဒေါင်းလုပ်လုပ်ပါ။ ```console python download_data.py ``` - -1. ဒေတာစနစ်များသည် ဒေသခံ *finetune-phi/data* ဒါရိုက်တရီအတွင်းတွင် အောင်မြင်စွာ သိမ်းဆည်းထားကြောင်း စစ်ဆေးပါ။ +1. ဒေတာများကို သင့်ဒေသခံ *finetune-phi/data* directory ထဲသို့ အောင်မြင်စွာ သိမ်းဆည်းထားကြောင်း စစ်ဆေးပါ။ > [!NOTE] > -> **ဒေတာစနစ်အရွယ်အစားနှင့် ကောင်းမွန်စွာ သင်းတင်မှုအချိန်** -> -> ဒီ E2E နမူနာတွင်၊ ဒေတာစနစ်၏ 1% (`train_sft[:1%]`) ကိုသာ သုံးပါသည်။ ဒါက ဒေတာအရေအတွက်ကို ထိရောက်စွာ လျော့ပါးစေပြီး ဒေါင်းလုပ်ရယူခြင်းနှင့် သင်းတင်မှု လုပ်ငန်းစဉ်များကို မြန်ဆန်စေသည်။ သင် သင့်မတ်တပ်ရပ်နှင့် မော်ဒယ်စွမ်းဆောင်ရည်အကြား တိကျသော ဆက်ဆံမှုကို ရှာဖွေရန် ရာခိုင်နှုန်းကို ပြင်ဆင်နိုင်သည်။ ဒေတာစနစ်၏ သေးငယ်သည့် အပိုင်းအစ အသုံးပြုခြင်းက သင်းတင်မှုအချိန်ကို လျှော့ချပြီး E2E နမူနာအတွက် လုပ်ငန်းစဉ်ကို ပိုမိုကောင်းမွန်စေသည်။ +> **Dataset အရွယ်အစားနှင့် fine-tuning အချိန်** > +> ဤ E2E နမူနာတွင် dataset ၏ 1% (`train_sft[:1%]`) ကိုသာ အသုံးပြုသည်။ ၎င်းသည်ဒေတာပမာဏကို လျော့ခ်ပြီး upload နှင့် fine-tuning လုပ်ငန်းစဉ်တို့ကို နှေးကွေးမှုမရှိစေပါ။ သင့်တော်သောသင်ကြားချိန်နှင့် မော်ဒယ် စွမ်းဆောင်ရည်အလျောက် ရှေ့နောက်ညှိနှိုင်းနိုင်သည်။ Dataset ၏ အနည်းငယ်သာ အသုံးပြုခြင်းသည် fine-tuning လုပ်ငန်းစဉ်အချိန်ကို လျော့ချပေးပြီး E2E နမူနာအတွက် လွယ်ကူစေသည်။ -## နမူနာအကြောင်းအရာ ၂ - Phi-3 မော်ဒယ်ကို ကောင်းမွန်စွာ သင်းတင်ခြင်းနှင့် Azure Machine Learning Studio မှာ ထုတ်ဝေခြင်း +## ဒုတိယ အခန်းကဏ္ဍ- Phi-3 မော်ဒယ် fine-tune လုပ်ပြီး Azure Machine Learning Studio တွင် Deploy ပြုလုပ်ခြင်း -### Azure CLI ကို စတင် သတ်မှတ်ခြင်း +### Azure CLI ချိန်ညှိခြင်း -သင့်ပတ်ဝန်းကျင်ကို ချိတ်ဆက်ရေးအတွက် Azure CLI ကို သတ်မှတ်ရန် လိုအပ်သည်။ Azure CLI က command line မှ Azure resource များကို တိုက်ရိုက် စီမံခန့်ခွဲပေးပြီး Azure Machine Learning အတွက် လိုအပ်သော လူကြိုက်များ ရရှိစေသည်။ စတင်ရန် [Azure CLI](https://learn.microsoft.com/cli/azure/install-azure-cli) ကို တပ်ဆင်ပါ။ +သင်၏ ပတ်ဝန်းကျင် အချိတ်အဆက် ပြုလုပ်ရန် Azure CLI ကို ဆက်တင်လုပ်ထားရမည်။ Azure CLI သည် command line မှတဆင့် Azure ရင်းမြစ်များကို တိုက်ရိုက်စီမံခန့်ခွဲခြင်းနဲ့ Azure Machine Learning သုံးမှုအတွက် လိုအပ်သော ချိတ်ဆက်သက်မှတ်ချက်များကို ပေးသည်။ စတင်ရန် [Azure CLI](https://learn.microsoft.com/cli/azure/install-azure-cli) ကို 설치 လုပ်ပါ။ -1. တာမီနယ် ဝင်းဒိုးကို ဖွင့်ပြီး အောက်ပါ command ကို ရိုက်ထည့်ကာ သင့် Azure အကောင့်သို့ ဝင်ရောက်ပါ။ +1. terminal ပြတင်းပိတ်ကို ဖွင့်ကာ သင့် Azure အကောင့်သို့ လော့ဂ်အင် ဝင်ရန် အောက်ပါ command ကို ရိုက်ထည့်ပါ။ ```console az login ``` +1. သင့် Azure အကောင့်ကို ရွေးချယ်ပြီး သုံးပါ။ -1. သင်အသုံးပြုမည့် Azure အကောင့်ကို ရွေးပါ။ - -1. သင်အသုံးပြုမည့် Azure subscription ကို ရွေးပါ။ +1. သင့် Azure subscription ကို ရွေးချယ်ပြီး အသုံးပြုပါ။ ![Find resource group name.](../../../../../../translated_images/my/02-01-login-using-azure-cli.dfde31cb75e58a87.webp) > [!TIP] > -> Azure သို့ ဝင်ရန် ပြဿနာဖြစ်ပေါ်ပါက device code ကိုသုံး၍ ကြိုးစားပါ။ တာမီနယ် ဝင်းဒိုး ဖွင့်ပြီး အောက်ပါ command ဖြင့် Azure အကောင့်သို့ ဝင်ပါ။ +> Azure မှ ဝင်ရောက်ရန် အခက်အခဲရှိပါက device code အသုံးပြုပါ။ terminal ပြတင်းပိတ်ကို ဖွင့်ကာ အောက်ပါ command ဖြင့် Azure အကောင့်သို့ ဝင်ရောက်နိုင်သည်။ > > ```console > az login --use-device-code > ``` > -### Phi-3 မော်ဒယ်ကို ကောင်းမွန်စွာ သင်းတင်ခြင်း +### Phi-3 မော်ဒယ် fine-tune လုပ်ခြင်း -ဒီလေ့ကျင့်ခန်းမှာ သင် ကြေညာထားသော ဒေတာစနစ်ကို အသုံးပြုကာ Phi-3 မော်ဒယ်ကို ကောင်းမွန်စွာ သင်းတင်ပါမယ်။ ပထမဆုံး *fine_tune.py* ဖိုင်တွင် သင်းတင်မှု အသေးစိတ်ကို သတ်မှတ်ပါမယ်။ ထို့နောက် Azure Machine Learning ပတ်ဝန်းကျင်ကို ပြင်ဆင်ပြီး *setup_ml.py* ဖိုင်ကို ပြေး၍ သင်းတင်မှုလုပ်ငန်းစဉ်ကို စတင်ပါမယ်။ ဒီ script သည် သင်းတင်မှုကို Azure Machine Learning ပတ်ဝန်းကျင်အတွင်း ပြုလုပ်ပါသည်။ +ဤလေ့ကျင့်ခန်းတွင် ပေးထားသော dataset သုံးပြီး Phi-3 မော်ဒယ်ကို fine-tune လုပ်ပါမည်။ ပထမဆုံး *fine_tune.py* ဖိုင်တွင် fine-tuning လုပ်ငန်းစဉ်ကို သတ်မှတ်ပါမည်။ ထို့နောက် Azure Machine Learning ပတ်ဝန်းကျင်ကို ဆက်တင်ပြင်ဆင်၍ *setup_ml.py* ဖိုင်ကို 실행ကာ fine-tuning လုပ်ငန်းစဉ်ကို စတင်ပါမည်။ ဤ script သည် Azure Machine Learning ပတ်ဝန်းကျင်အတွင်း ချိန်ညှိ fine-tuning ကို အာမခံသည်။ -*setup_ml.py* ကို ပြေးခြင်းအားဖြင့် သင်သည် Azure Machine Learning ပတ်ဝန်းကျင်တွင် သင်းတင်မှုလုပ်ငန်းစဉ်ကို စတင်ပြေးဆောင်ရွက်မှာ ဖြစ်သည်။ +*setup_ml.py* ကို 실행ခြင်းအားဖြင့် Azure Machine Learning ပတ်ဝန်းကျင်တွင် fine-tuning လုပ်ငန်းစဉ်ကို လည်ပတ်စေနိုင်သည်။ -#### *fine_tune.py* ဖိုင်သို့ ကုဒ်ထည့်ခြင်း +#### *fine_tune.py* ဖိုင်သို့ ကုဒ်ထည့်သွင်းခြင်း -1. *finetuning_dir* ဖိုလ်ဒါသို့ သွားပြီး Visual Studio Code မှာ *fine_tune.py* ဖိုင်ကို ဖွင့်ပါ။ +1. *finetuning_dir* ဖိုလ်ဒါသို့ သွား၍ *fine_tune.py* ဖိုင်ကို Visual Studio Code တွင် ဖွင့်ပါ။ -1. *fine_tune.py* ဖိုင်ထဲသို့ အောက်ပါကုဒ်များကို ထည့်ပါ။ +1. အောက်ပါ ကုဒ်များကို *fine_tune.py* ဖိုင်တွင် ထည့်သွင်းပါ။ ```python import argparse @@ -541,10 +536,10 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from trl import SFTTrainer - # MLflow မှာ INVALID_PARAMETER_VALUE အမှားကို ရှောင်ရှားဖို့အတွက် MLflow ပေါင်းစပ်မှုကို ပိတ်ထားပါ + # MLflow တွင် INVALID_PARAMETER_VALUE အမှားကိုရှောင်ရန် MLflow ပေါင်းစည်းမှုကိုပိတ်ပါ os.environ["DISABLE_MLFLOW_INTEGRATION"] = "True" - # မှတ်တမ်းတင်ခြင်း စနစ် + # မှတ်တမ်းတင်ခြင်း စနစ်တည်ဆောက်မှု logging.basicConfig( format="%(asctime)s - %(levelname)s - %(name)s - %(message)s", datefmt="%Y-%m-%d %H:%M:%S", @@ -681,22 +676,21 @@ ``` - 1. *fine_tune.py* ဖိုင်ကို သိမ်းပြီး ပိတ်ပါ။ > [!TIP] -> **Phi-3.5 မော်ဒယ်ကိုလည်း သင်းတင်နိုင်ပါတယ်** +> **Phi-3.5 မော်ဒယ်ကိုလည်း fine-tune လုပ်နိုင်သည်** > -> *fine_tune.py* ဖိုင်ထဲမှာ `pretrained_model_name` ကို `"microsoft/Phi-3-mini-4k-instruct"` မှ `"microsoft/Phi-3.5-mini-instruct"` သို့ ပြောင်းလဲနိုင်ပါတယ်။ ဒါဆိုရင် Phi-3.5-mini-instruct မော်ဒယ်ဖြင့် သင်းတင်မှု လုပ်သွားမှာ ဖြစ်ပါတယ်။ သင်စိတ်ဝင်စားသော မော်ဒယ်နာမည်ကို ရှာဖွေရန် [Hugging Face](https://huggingface.co/) သို့ သွားကြည့်ရှုကာ အကြိုက်ဆုံး မော်ဒယ်နာမည်ကို `pretrained_model_name` မှာ ကူးထည့်နိုင်ပါသည်။ +> *fine_tune.py* ဖိုင်တွင် `pretrained_model_name` ကို `"microsoft/Phi-3-mini-4k-instruct"` မှ `"microsoft/Phi-3.5-mini-instruct"` သို့မဟုတ် သင်လိုချင်သည့် မော်ဒယ်အမည်သို့ ပြောင်းလဲနိုင်သည်။ သင်စိတ်ပါဝင်စားသည့် မော်ဒယ်အမည်ကို ရှာဖွေရန် [Hugging Face](https://huggingface.co/) သို့ သွားပြီး သင်ရွေးချယ်သော မော်ဒယ်အမည်ကို ကူးယူပြီး script အတွင်း `pretrained_model_name` သို့ ထည့်ပါ။ > > > -#### *setup_ml.py* ဖိုင်ထဲက ကုဒ် ထည့်ခြင်း +#### *setup_ml.py* ဖိုင်ထဲသို့ ကုဒ်ထည့်သွင်းခြင်း -1. Visual Studio Code မှာ *setup_ml.py* ဖိုင်ကို ဖွင့်ပါ။ +1. *setup_ml.py* ဖိုင်ကို Visual Studio Code တွင် ဖွင့်ပါ။ -1. *setup_ml.py* ဖိုင်ထဲသို့ အောက်ပါကုဒ်များကို ထည့်ပါ။ +1. အောက်ပါ ကုဒ်ကို *setup_ml.py* ဖိုင်ထဲသို့ ထည့်ပါ။ ```python import logging @@ -711,25 +705,25 @@ TEST_DATA_PATH ) - # သတ်မှတ်ချက်များ + # အမြဲတမ်းတန်ဖိုးများ - # ပညာသင်ကြားမှုအတွက် CPU instance အသုံးပြုရန် အောက်ပါလိုင်းများကို uncomment ပါ + # သင်ကြားမှုအတွက် CPU အ实例 အသုံးပြုရန် အောက်ပါလိုင်းများမှ remark မယူပါ # COMPUTE_INSTANCE_TYPE = "Standard_E16s_v3" # cpu # COMPUTE_NAME = "cpu-e16s-v3" # DOCKER_IMAGE_NAME = "mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest" - # ပညာသင်ကြားမှုအတွက် GPU instance အသုံးပြုရန် အောက်ပါလိုင်းများကို uncomment ပါ + # သင်ကြားမှုအတွက် GPU အ实例 အသုံးပြုရန် အောက်ပါလိုင်းများမှ remark မယူပါ COMPUTE_INSTANCE_TYPE = "Standard_NC24ads_A100_v4" COMPUTE_NAME = "gpu-nc24s-a100-v4" DOCKER_IMAGE_NAME = "mcr.microsoft.com/azureml/curated/acft-hf-nlp-gpu:59" CONDA_FILE = "conda.yml" - LOCATION = "eastus2" # သင့် compute cluster ရဲ့တည်နေရာကို ပြောင်းပါ - FINETUNING_DIR = "./finetuning_dir" # ပညာသင်ကြားမှု script ရဲ့လမ်းကြောင်း - TRAINING_ENV_NAME = "phi-3-training-environment" # ပညာသင်ကြားမှုပတ်ဝန်းကျင်နာမည် - MODEL_OUTPUT_DIR = "./model_output" # azure ml မှာ မော်ဒယ် ထွက်လာမည့် ဖိုင်လမ်းကြောင်း + LOCATION = "eastus2" # သင့် compute cluster のတည်နေရာဖြင့် အစားထိုးပါ + FINETUNING_DIR = "./finetuning_dir" # fine-tuning script ၏ လမ်းကြောင်း + TRAINING_ENV_NAME = "phi-3-training-environment" # သင်ကြားမှုပတ်ဝန်းကျင်အမည် + MODEL_OUTPUT_DIR = "./model_output" # azure ml တွင် မော်ဒယ်ထွက်နိုင်ရာ directory ၏ လမ်းကြောင်း - # လုပ်ငန်းစဉ်ကို မှတ်တမ်းတင်ခြင်း စနစ် + # သင်ကြားမှုလုပ်ငန်းစဉ် စောင့်ကြည့်ရေး logging ပြင်ဆင်မှု logger = logging.getLogger(__name__) logging.basicConfig( format="%(asctime)s - %(levelname)s - %(name)s - %(message)s", @@ -751,7 +745,7 @@ env = Environment( image=DOCKER_IMAGE_NAME, # ပတ်ဝန်းကျင်အတွက် Docker image conda_file=CONDA_FILE, # Conda ပတ်ဝန်းကျင် ဖိုင် - name=TRAINING_ENV_NAME, # ပတ်ဝန်းကျင်နာမည် + name=TRAINING_ENV_NAME, # ပတ်ဝန်းကျင်အမည် ) return ml_client.environments.create_or_update(env) @@ -768,11 +762,11 @@ name=compute_name, size=COMPUTE_INSTANCE_TYPE, location=location, - tier="Dedicated", # compute cluster အဆင့် - min_instances=0, # အနည်းဆုံး instance အရေအတွက် - max_instances=1 # အများဆုံး instance အရေအတွက် + tier="Dedicated", # compute cluster တန်းများ + min_instances=0, # အနည်းဆုံး ဂဏန်း + max_instances=1 # အများဆုံး ဂဏန်း ) - ml_client.compute.begin_create_or_update(compute_cluster).wait() # cluster ဖန်တီးခြင်း ပြီးရန် စောင့်ရန် + ml_client.compute.begin_create_or_update(compute_cluster).wait() # cluster ဖန်တီးပြီးမရမချင်း စောင့်ပါ return compute_cluster def create_fine_tuning_job(env, compute_name): @@ -780,18 +774,18 @@ Set up the fine-tuning job in Azure ML. """ return command( - code=FINETUNING_DIR, # fine_tune.py ဖိုင်လမ်းကြောင်း + code=FINETUNING_DIR, # fine_tune.py ၏ လမ်းကြောင်း command=( "python fine_tune.py " "--train-file ${{inputs.train_file}} " "--eval-file ${{inputs.eval_file}} " "--model_output_dir ${{inputs.model_output}}" ), - environment=env, # ပညာသင်ကြားမှု ပတ်ဝန်းကျင် + environment=env, # သင်ကြားမှုပတ်ဝန်းကျင် compute=compute_name, # အသုံးပြုမည့် compute cluster inputs={ - "train_file": Input(type="uri_file", path=TRAIN_DATA_PATH), # ပညာသင်ကြားမှု ဒေတာဖိုင် လမ်းကြောင်း - "eval_file": Input(type="uri_file", path=TEST_DATA_PATH), # အကဲဖြတ်မှု ဒေတာဖိုင် လမ်းကြောင်း + "train_file": Input(type="uri_file", path=TRAIN_DATA_PATH), # သင်ကြားမှုဒေတာဖိုင်၏ လမ်းကြောင်း + "eval_file": Input(type="uri_file", path=TEST_DATA_PATH), # အကဲဖြတ်မှုဒေတာဖိုင်၏ လမ်းကြောင်း "model_output": MODEL_OUTPUT_DIR } ) @@ -800,19 +794,19 @@ """ Main function to set up and run the fine-tuning job in Azure ML. """ - # ML Client ကို စတင်ပြင်ဆင်ခြင်း + # ML Client ကို စတင်ဖန်တီးပါ ml_client = get_ml_client() - # ပတ်ဝန်းကျင် ဖန်တီးခြင်း + # ပတ်ဝန်းကျင် ဖန်တီးပါ env = create_or_get_environment(ml_client) - # ရှိပြီးသား compute cluster ဖန်တီးခြင်း သို့မဟုတ် ရယူခြင်း + # ရှိပြီးသား compute cluster ကို ဖန်တီး သို့မဟုတ် ရယူပါ create_or_get_compute_cluster(ml_client, COMPUTE_NAME, COMPUTE_INSTANCE_TYPE, LOCATION) - # Fine-Tuning အလုပ် ဖန်တီးပြီး တင်ပြခြင်း + # Fine-Tuning အလုပ်ကို ဖန်တီး ထည့်သွင်းပါ job = create_fine_tuning_job(env, COMPUTE_NAME) returned_job = ml_client.jobs.create_or_update(job) # အလုပ်ကို တင်ပြပါ - ml_client.jobs.stream(returned_job.name) # အလုပ် लॉギများကို ဖလှယ်ပြီး ကြည့်ရှုပါ + ml_client.jobs.stream(returned_job.name) # အလုပ်ရဲ့ logs ကို စီးဆင်းပါ # အလုပ်နာမည်ကို ဖမ်းယူပါ job_name = returned_job.name @@ -823,27 +817,25 @@ ``` - -1. `COMPUTE_INSTANCE_TYPE`, `COMPUTE_NAME` နှင့် `LOCATION` ကို သင့်အချက်အလက်အတိုင်း ပြောင်းလဲပေးပါ။ +1. `COMPUTE_INSTANCE_TYPE`, `COMPUTE_NAME`, နှင့် `LOCATION` ကို သင်၏ အသေးစိတ်အချက်အလက်များဖြင့် အစားထိုးပါ။ ```python - # ဖောင်းထုတ်ပြီး GPU အင်စတင့်အသုံးပြုရန် လေ့ကျင့်မှုအတွက် အောက်ပါလိုင်းများကို ဖွင့်ပါ + # သင်ကြားရေးအတွက် GPU အင်စတာန်စ်အသုံးပြုရန် အောက်ပါလိုင်းများကို မှတ်ချက်ဖြုတ်ပါ COMPUTE_INSTANCE_TYPE = "Standard_NC24ads_A100_v4" COMPUTE_NAME = "gpu-nc24s-a100-v4" ... - LOCATION = "eastus2" # သင့်ကွန်ပျူတာ ကလပ်စတာတည်နေရာဖြင့် အစားထိုးပါ + LOCATION = "eastus2" # သင့်တွက်ချက်ချက်အစုအဝေးတည်နေရာဖြင့် အစားထိုးပါ ``` - > [!TIP] > -> **CPU သုံးပြီး ဒေတာစနစ် သေးငယ်သမျှ ဖြင့် ကောင်းမွန်စွာ သင်းတင်ခြင်း လမ်းညွှန်** +> **CPU အသုံးပြု၍ အနည်းငယ် dataset ဖြင့် fine-tuning လုပ်ခြင်းအတွက် ညွှန်ကြားချက်** > -> CPU သုံးပြီး သင်းတင်ဖို့လိုတဲ့သူများအတွက် ဤနည်းလမ်း သင့်တော်သည်။ Visual Studio Enterprise Subscription ကဲ့သို့ အကျိုးခံစားခွင့် subscription များရှိသူများ သို့မဟုတ် သင်းတင်ခြင်းနှင့် ထုတ်ဝေမှု လုပ်ငန်းစဉ်ကို စမ်းသပ်ရန် အဆင်ပြေသည်။ +> CPU ကို ပြုလုပ်သည့် အခါ၊ ဤနည်းလမ်းသည် benefit subscription များ (ဥပမာ Visual Studio Enterprise Subscription) သုံးသူများနှင့် fine-tuning/deployment တိုင်းတာခြင်းအတွက် အကောင်းဆုံးဖြစ်သည်။ > > 1. *setup_ml* ဖိုင်ကို ဖွင့်ပါ။ -> 1. `COMPUTE_INSTANCE_TYPE`, `COMPUTE_NAME` နှင့် `DOCKER_IMAGE_NAME` ကို အောက်ပါအတိုင်း ပြောင်းပါ။ *Standard_E16s_v3* သုံးခွင့်မရှိပါက CPU အခြေပြု instance တစ်ခုသို့ အစားထိုး သို့မဟုတ် quota အသစ် တောင်းဆိုနိုင်ပါသည်။ -> 1. `LOCATION` ကို သင့်အချက်အလက်အတိုင်း ပြောင်းပါ။ +> 1. `COMPUTE_INSTANCE_TYPE`, `COMPUTE_NAME`, နှင့် `DOCKER_IMAGE_NAME` ကို အောက်တွင် ဖော်ပြထားသောအတိုင်း ပြောင်းလဲပါ။ *Standard_E16s_v3* အတွက် ဝင်ခွင့်မရှိပါက အစားထိုး CPU instance တစ်ခု သို့မဟုတ် အသစ်တောင်းခံနိုင်ပါသည်။ +> 1. `LOCATION` ကို သင်၏ အသေးစိတ်အချက်အလက်များဖြင့် ပြောင်းပါ။ > > ```python > # Uncomment the following lines to use a CPU instance for training @@ -854,38 +846,37 @@ > ``` > -1. *setup_ml.py* စကရစ်ပ်ကို ပြေးရန်အတွက် အောက်ပါ command ကို ရိုက်ထည့်ပါ။ +1. *setup_ml.py* script ကို 실행ရန်အတွက် အောက်ပါ command ကို ရိုက်ထည့်ကာ Azure Machine Learning တွင် fine-tuning လုပ်ငန်းစဉ်ကို စတင်ပါ။ ```python python setup_ml.py ``` - -1. ဒီ လေ့ကျင့်ခန်းမှာ သင်သည် Azure Machine Learning အသုံးပြုကာ Phi-3 မော်ဒယ်ကို ကောင်းမွန်စွာ သင်းတင်နိုင်ခဲ့ပါသည်။ *setup_ml.py* ဖိုင်ကို ပြေးခြင်းအားဖြင့် သင်သည် Azure Machine Learning ပတ်ဝန်းကျင်ကို စတင်ပြင်ဆင်ပြီး *fine_tune.py* ဖိုင်တွင် သတ်မှတ်ထားသော သင်းတင်မှု လုပ်ငန်းစဉ်ကို စတင်မောင်းနှင်ခဲ့ပါသည်။ သင်းတင်မှုလုပ်ငန်းစဉ်မှာ အချိန်များကြာနိုင်ပါသည်ကို မှတ်သားပါ။ `python setup_ml.py` ကို Run ပြီးလျှင် လုပ်ငန်းစဉ်ပြီးမြောက်ရန် မျှော်လင့်ရန်လိုပြီး၊ ထိုအချိန်အတွင်း Azure Machine Learning ပေါ်တွင် သင်းတင်မှုလုပ်ငန်း၏ အခြေအနေကို သုံးလုံးထက်သာ Terminal တွင် ပေးထားသော link မှတဆင့် ကြည့်ရှုနိုင်ပါသည်။ +1. ဤလေ့ကျင့်ခန်းတွင် သင်သည် Azure Machine Learning ကို အသုံးပြုကာ Phi-3 မော်ဒယ်ကို အောင်မြင်စွာ fine-tune လုပ်နိုင်ခဲ့သည်။ *setup_ml.py* script ကို 실행ခြင်းဖြင့် Azure Machine Learning ပတ်ဝန်းကျင်ကို စတင်တပ်ဆင်ပြီး *fine_tune.py* ဖိုင်တွင် သတ်မှတ်ထားသော fine-tuning လုပ်ငန်းစဉ်ကို စတင်ကြောင်း မှတ်သားပါ။ fine-tuning ပြီးဆုံးရန် အချိန်ကြာနိုင်ပါသည်။ `python setup_ml.py` command 실행ပြီးနောက် လုပ်ငန်းစဉ် ပြီးဆုံးတာကို စောင့်ဆိုင်းရန် လိုအပ်သည်။ terminal တွင် ဖော်ပြထားသော Azure Machine Learning ပေါ်တယ်လ်ကို လင့်ခ်အား အသုံးပြု၍ fine-tuning အခြေအနေကို ကြည့်ရှုနိုင်ပါသည်။ ![See finetuning job.](../../../../../../translated_images/my/02-02-see-finetuning-job.59393bc3b143871e.webp) -### ကောင်းမွန်စွာ သင်းတင်ပြီး မော်ဒယ် ထုတ်ဝေခြင်း +### fine-tuned မော်ဒယ်ကို deploy ပြုလုပ်ခြင်း -Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင်းစပ်စေနိုင်ရန်၊ သင်းတင်ပြီး မော်ဒယ်ကို တိုက်ရိုက် အသုံးပြုနိုင်ရန် ပြင်ဆင်ပြီး ထုတ်ဝေရန် လိုအပ်ပါသည်။ ၎င်းအား မော်ဒယ်ကို မှတ်ပုံတင်ခြင်း၊ online endpoint ဖန်တီးခြင်းနှင့် deployment လုပ်ခြင်းများ ကုဒ်များအလိုက် ဆောင်ရွက်ပါမည်။ +fine-tuned Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင်းစည်းအသုံးပြုရန်အတွက် မော်ဒယ်ကို အွန်လိုင်းမှ real-time inference အတွက် ရရှိနိုင်အောင် deploy ပြုလုပ်ရမည်။ ၎င်းလုပ်ငန်းစဉ်တွင် မော်ဒယ်မှတ်ပုံတင်ခြင်း၊ online endpoint ဖန်တီးခြင်းနှင့် မော်ဒယ် deploy ပြုလုပ်ခြင်းတို့ ပါဝင်သည်။ -#### မော်ဒယ်နာမည်၊ endpoint နာမည်နှင့် deployment နာမည် သတ်မှတ်ခြင်း +#### Deploy ပြုလုပ်ရန် မော်ဒယ်အမည်၊ endpoint အမည်နှင့် deployment အမည် သတ်မှတ်ခြင်း 1. *config.py* ဖိုင်ကို ဖွင့်ပါ။ -1. `AZURE_MODEL_NAME = "your_fine_tuned_model_name"` ကို သင့်မော်ဒယ်အတွက် ဆန္ဒရှိသော နာမည်ဖြင့် အစားထိုးပါ။ +1. `AZURE_MODEL_NAME = "your_fine_tuned_model_name"` ကို သင်လိုချင်သည့် မော်ဒယ်အမည်ဖြင့် ဖေါ်ပြပါ။ -1. `AZURE_ENDPOINT_NAME = "your_fine_tuned_model_endpoint_name"` ကို သင့် endpoint အတွက် ဆန္ဒရှိသော နာမည်ဖြင့် အစားထိုးပါ။ +1. `AZURE_ENDPOINT_NAME = "your_fine_tuned_model_endpoint_name"` ကို သင်လိုချင်သည့် endpoint အမည်ဖြင့် ပြောင်းပါ။ -1. `AZURE_DEPLOYMENT_NAME = "your_fine_tuned_model_deployment_name"` ကို သင့် deployment အတွက် ဆန္ဒရှိသော နာမည်ဖြင့် အစားထိုးပါ။ +1. `AZURE_DEPLOYMENT_NAME = "your_fine_tuned_model_deployment_name"` ကို သင်လိုချင်သည့် deployment အမည်ဖြင့် ပြောင်းပါ။ -#### *deploy_model.py* ဖိုင်ထဲ သို့ ကုဒ် ထည့်ခြင်း +#### *deploy_model.py* ဖိုင်ထဲသို့ ကုဒ်ထည့်သွင်းခြင်း -*deploy_model.py* ဖိုင်ကို ပြေးခြင်းဖြင့် deployment လုပ်ငန်းစဉ်များ အလိုအလျောက် ပြီးစီးမည် ဖြစ်သည်။ ၎င်းက မော်ဒယ်မှတ်ပုံတင်ခြင်း၊ endpoint ဖန်တီးခြင်းများ၊ သတ်မှတ်ထားသော config.py ဖိုင်ထဲ ပြည့်စုံသော မော်ဒယ်နာမည်, endpoint နာမည်နှင့် deployment နာမည် အရ deployment ကို ဆောင်ရွက်ပေးပါမည်။ +*deploy_model.py* ဖိုင်ကို 실행ခြင်းအားဖြင့် စုံလင်သော deployment လုပ်ငန်းစဉ်ကို အလိုအလျောက် ဆောင်ရွက်နိုင်သည်။ ၎င်းသည် မော်ဒယ်မွတ်ပုံတင်ခြင်း၊ endpoint ဖန်တီးခြင်း နှင့် config.py ဖိုင်တွင် သတ်မှတ်ထားသော မော်ဒယ်အမည်၊ endpoint အမည်နှင့် deployment အမည်အားအခြေခံ၍ deployment ကို ဆောင်ရွက်သည်။ -1. Visual Studio Code မှာ *deploy_model.py* ဖိုင်ကို ဖွင့်ပါ။ +1. Visual Studio Code တွင် *deploy_model.py* ဖိုင်ကို ဖွင့်ပါ။ -1. *deploy_model.py* ဖိုက်ထဲသို့ အောက်ပါကုဒ်များကို ထည့်ပါ။ +1. *deploy_model.py* ထဲသို့ အောက်ပါ ကုဒ်များ ထည့်ပါ။ ```python import logging @@ -894,7 +885,7 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် from azure.ai.ml.entities import Model, ProbeSettings, ManagedOnlineEndpoint, ManagedOnlineDeployment, IdentityConfiguration, ManagedIdentityConfiguration, OnlineRequestSettings from azure.ai.ml.constants import AssetTypes - # ပြုပြင်မှုတင်သွင်းခြင်းများ + # ပုံသေချုပ်များအား သွင်းယူခြင်း from config import ( AZURE_SUBSCRIPTION_ID, AZURE_RESOURCE_GROUP_NAME, @@ -906,7 +897,7 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် AZURE_DEPLOYMENT_NAME ) - # အမြဲတမ်းတန်ဖိုးများ + # သတ်မှတ်ချက်များ JOB_NAME = "your-job-name" COMPUTE_INSTANCE_TYPE = "Standard_E4s_v3" @@ -916,7 +907,7 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် "UAI_CLIENT_ID": AZURE_MANAGED_IDENTITY_CLIENT_ID, } - # မှတ်တမ်းတင်ခြင်း ပြင်ဆင်မှု + # မှတ်တမ်းတင်ခြင်း စနစ် သတ်မှတ်ခြင်း logging.basicConfig( format="%(asctime)s - %(levelname)s - %(name)s - %(message)s", datefmt="%Y-%m-%d %H:%M:%S", @@ -1005,25 +996,25 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် def set_traffic_to_deployment(ml_client, endpoint_name, deployment_name): """Set traffic to the specified deployment.""" try: - # လက်ရှိ endpoint အသေးစိတ်ကို ရယူပါ + # လက်ရှိ endpoint အသေးစိတ် ကို ယူယူခြင်း endpoint = ml_client.online_endpoints.get(name=endpoint_name) - # ဖွဲ့စည်းမှုကို စစ်ဆေးရန် လက်ရှိလမ်းကြောင်းခွဲဝေပမာဏကို မှတ်တမ်းတင်ပါ + # တောင့်တယ်မှုများပြီး မြင်ခြင်းအတွက် လက်ရှိ traffic allocation ကို မှတ်တမ်းတင်ခြင်း logger.info(f"Current traffic allocation: {endpoint.traffic}") - # တင်သွင်းမှုအတွက် လမ်းကြောင်းခွဲဝေပမာဏကို သတ်မှတ်ပါ + # deployment အတွက် traffic allocation ကို သတ်မှတ်ခြင်း endpoint.traffic = {deployment_name: 100} - # လမ်းကြောင်းခွဲဝေပမာဏအသစ်ဖြင့် endpoint ကို update ပြုလုပ်ပါ + # endpoint ကို traffic allocation အသစ်ဖြင့် update ပြုလုပ်ခြင်း endpoint_poller = ml_client.online_endpoints.begin_create_or_update(endpoint) updated_endpoint = endpoint_poller.result() - # ဖွဲ့စည်းမှုကို စစ်ဆေးရန် ပွင့်လင်းထားသော လမ်းကြောင်းခွဲဝေပမာဏကို မှတ်တမ်းတင်ပါ + # ပြန်လည်ပြောင်းလဲထားသော traffic allocation ကို ကြည့်ရှုရန် မှတ်တမ်းတင်ခြင်း logger.info(f"Updated traffic allocation: {updated_endpoint.traffic}") logger.info(f"Set traffic to deployment {deployment_name} at endpoint {endpoint_name}.") return updated_endpoint except Exception as e: - # လုပ်ငန်းစဉ်အတွင်း ဖြစ်ပေါ်သည့် အမှားများကို မှတ်တမ်းတင်ပါ + # လုပ်ငန်းစဉ်အတွင်း ဖြစ်ပွားသည့် အမှားများကို မှတ်တမ်းတင်ခြင်း logger.error(f"Failed to set traffic to deployment: {e}") raise @@ -1051,68 +1042,68 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် ``` +1. `JOB_NAME` ကို ရယူရန်အတွက် အောက်ပါ လုပ်ဆောင်ချက်များ ပြုလုပ်ပါ။ -1. `JOB_NAME` ရယူရန် အောက်ပါ အဆင့်များကို လုပ်ဆောင်ပါ။ + - ဖန်တီးထားသော Azure Machine Learning resource သို့ သွားပါ။ + - Azure Machine Learning workspace ကို ဖွင့်ရန် **Studio web URL** ကို ရွေးချယ်ပါ။ + - ဘယ်ဘက်ခွဲထဲမှ **Jobs** ကို ရွေးချယ်ပါ။ + - fine-tuning အတွက် experiment ကို ရွေးပါ။ ဥပမာ *finetunephi* ဖြစ်သည်။ + - အမှာအဆိုပြုထားသော job ကို ရွေးချယ်ပါ။ + - သင့် job အမည်ကို ကူးယူပြီး *deploy_model.py* ဖိုင်အတွင်း `JOB_NAME = "your-job-name"` ထဲသို့ ထည့်ပါ။ - - သင် ဖန်တီးထားသော Azure Machine Learning resource သို့ သွားပါ။ - - **Studio web URL** ကို ရွေးပြီး Azure Machine Learning workspace ကို ဖွင့်ပါ။ - - ဘယ်ဘက် tab မှ **Jobs** ကို ရွေးပါ။ - - သင်းတင်မှု အတွက် စမ်းသပ်မှု (experiment) ကို ရွေးပါ၊ ဥပမာ *finetunephi*။ - - သင်ဖန်တီးထားသော job ကို ရွေးပါ။ -- သင့်အလုပ်အမည်ကို *deploy_model.py* ဖိုင်ရှိ `JOB_NAME = "your-job-name"` ထဲမှာ ကူးယူကပ်ထည့်ပါ။ +1. `COMPUTE_INSTANCE_TYPE` ကို သင့်အသေးစိတ်များဖြင့် အစားထိုးပါ။ -1. သင့်ရဲ့အသေးစိတ်အချက်အလက်ဖြင့် `COMPUTE_INSTANCE_TYPE` ကို အစားထိုးပါ။ - -1. *deploy_model.py* script ကို run ချင်တာအတွက်အောက်ပါ command ကိုရိုက်ထည့်ပြီး Azure Machine Learning မှာ deployment လုပ်ငန်းစဉ်ကို စတင်ပါ။ +1. *deploy_model.py* script ကို 실행ကာ Azure Machine Learning တွင် deployment လုပ်ငန်းစဉ် စတင်ရန် အောက်ပါ command ကို ရိုက်ထည့်ပါ။ ```python python deploy_model.py ``` > [!WARNING] -> သင့်အကောင့်ကို အပိုကြေးပေးရခြင်းမဖြစ်စေဖို့အတွက် Azure Machine Learning workspace မှာ ဖန်တီးထားတဲ့ endpoint ကို ဖျက်ပစ်ရန် သေချာစေပါ။ +> သင့်အကောင့်အတွက် ထပ်မံကြေးနွယ်မှုပြုမိမည်မဖြစ်စေရန် အတွက် Azure Machine Learning workspace တွင် ဖန်တီးထားသော endpoint ကို ဖျက်ပစ်ရန် သေချာစေပါ။ > -#### Azure Machine Learning Workspace မှာ deployment အခြေအနေ စစ်ဆေးပါ +#### Azure Machine Learning Workspace တွင် deployment အခြေအနေစစ်ဆေးခြင်း + +1. [Azure ML Studio](https://ml.azure.com/home?wt.mc_id=studentamb_279723) သို့ သွားပါ။ -1. [Azure ML Studio](https://ml.azure.com/home?wt.mc_id=studentamb_279723) ကို သွားပါ။ +1. ဖန်တီးထားသော Azure Machine Learning workspace သို့ သွားပါ။ -1. သင့်ဖန်တီးခဲ့တဲ့ Azure Machine Learning workspace ကို သွားပါ။ -1. Azure Machine Learning workspace ကိုဖွင့်ရန် **Studio web URL** ကို ရွေးချယ်ပါ။ +1. **Studio web URL** ကိုရွေးပြီး Azure Machine Learning ဝေါ့ခ််စ်ကိုဖွင့်ပါ။ -1. ဘယ်ဘက် tab မှ **Endpoints** ကို ရွေးပါ။ +1. ဘယ်ဘက်တစ်ဖက်မှ **Endpoints** ကိုရွေးပါ။ - ![Select endpoints.](../../../../../../translated_images/my/02-03-select-endpoints.c3136326510baff1.webp) + ![Endpoints ကိုရွေးပါ။](../../../../../../translated_images/my/02-03-select-endpoints.c3136326510baff1.webp) -2. သင့်ဖန်တီးထားတဲ့ endpoint ကို ရွေးပါ။ +2. သင့်အားဖန်တီးထားသော endpoint ကိုရွေးပါ။ - ![Select endpoints that you created.](../../../../../../translated_images/my/02-04-select-endpoint-created.0363e7dca51dabb4.webp) + ![သင့်ဖန်တီးထားသော endpoints ကိုရွေးပါ။](../../../../../../translated_images/my/02-04-select-endpoint-created.0363e7dca51dabb4.webp) -3. ဒီစာမျက်နှာမှာ deployment လုပ်ငန်းစဉ်အတွင်း ဖန်တီးထားသော endpoints များကို စီမံနိုင်သည်။ +3. ဤစာမျက်နှာတွင် deployment လုပ်ရင်း ဖန်တီးထားသော endpoints များကိုစီမံနိုင်ပါသည်။ -## စခenario 3: Prompt flow နှင့် ပေါင်းစပ်ပြီး သင့်ကိုယ်ပိုင် မော်ဒယ်ဖြင့် စကားပြောပါ +## အခြေအနေ ၃: Prompt flow နှင့်ပေါင်းစပ်ပြီး သင့်စိတ်ကြိုက်မော်ဒယ်နှင့် စကားပြောရန် -### Prompt flow နှင့် သင့်ကိုယ်ပိုင် Phi-3 မော်ဒယ် ပေါင်းစပ်ခြင်း +### သင့်စိတ်ကြိုက် Phi-3 မော်ဒယ်ကို Prompt flow နှင့်ပေါင်းစပ်ခြင်း -သင့် fine-tuned မော်ဒယ်ကို အောင်မြင်စွာ deploy ပြီးပါက Prompt flow နှင့် ပေါင်းစပ်ပြီး သင့်မော်ဒယ်ကို အချိန်နောက်ခံ application များတွင် အသုံးပြုနိုင်သည်။ ၎င်းဖြင့် သင့်ကိုယ်ပိုင် Phi-3 မော်ဒယ်နှင့် အမျိုးမျိုးသော အပြန်အလှန် လုပ်ငန်းများ ဆောင်ရွက်နိုင်ပါပြီ။ +သင်၏ fine-tuned မော်ဒယ် အောင်မြင်စွာ deployment ပြီးပါက၊ Prompt flow နှင့်ပေါင်းစပ်၍ real-time applications များတွင် သင့်မော်ဒယ်ကို အသုံးပြုနိုင်ပြီး၊ သင့်စိတ်ကြိုက် Phi-3 မော်ဒယ်ဖြင့် အမျိုးမျိုးသော အပြန်အလှန် လုပ်ဆောင်ချက်များ ဆောင်ရွက်နိုင်ပါသည်။ -#### fine-tuned Phi-3 မော်ဒယ်ရဲ့ api key နှင့် endpoint uri ကို သတ်မှတ်ရန် +#### fine-tuned Phi-3 မော်ဒယ်၏ API key နှင့် endpoint URI ကို သတ်မှတ်ခြင်း -1. သင့်ဖန်တီးထားသော Azure Machine Learning workspace သို့ သွားပါ။ -1. ဘယ်ဘက် tab မှ **Endpoints** ကို ရွေးချယ်ပါ။ -1. သင့်ဖန်တီးထားသော endpoint ကို ရွေးပါ။ -1. ရှေ့ပြေး မီနူးမှ **Consume** ကို ရွေးပါ။ -1. သင့် **REST endpoint** ကို ကူးယူပြီး *config.py* ဖိုင်ထဲမှာ `AZURE_ML_ENDPOINT = "your_fine_tuned_model_endpoint_uri"` ကို သင့် **REST endpoint** နဲ့ အစားထိုးပါ။ -1. သင့် **Primary key** ကို ကူးယူပြီး *config.py* ဖိုင်ထဲမှာ `AZURE_ML_API_KEY = "your_fine_tuned_model_api_key"` ကို သင့် **Primary key** နဲ့ အစားထိုးပါ။ +1. သင်ဖန်တီးထားသော Azure Machine learning workspace သို့သွားပါ။ +1. ဘယ်ဘက် tab မှ **Endpoints** ကိုရွေးပါ။ +1. သင့်ဖန်တီးထားသော endpoint ကိုရွေးပါ။ +1. navigation မီနူးမှ **Consume** ကိုရွေးပါ။ +1. သင့် **REST endpoint** ကို *config.py* ဖိုင်တွင် `AZURE_ML_ENDPOINT = "your_fine_tuned_model_endpoint_uri"` အစား ထည့်သွင်းပါ။ +1. သင့် **Primary key** ကို *config.py* ဖိုင်တွင် `AZURE_ML_API_KEY = "your_fine_tuned_model_api_key"` အစား ထည့်သွင်းပါ။ - ![Copy api key and endpoint uri.](../../../../../../translated_images/my/02-05-copy-apikey-endpoint.88b5a92e6462c53b.webp) + ![API key နှင့် endpoint URI ကို ကူးဉာဏ်ဖြည့်ပါ။](../../../../../../translated_images/my/02-05-copy-apikey-endpoint.88b5a92e6462c53b.webp) -#### *flow.dag.yml* ဖိုင်ထဲ သို့ကုဒ်ထည့်ခြင်း +#### *flow.dag.yml* ဖိုင်သို့ ကုဒ်များထည့်သွင်းခြင်း -1. Visual Studio Code မှာ *flow.dag.yml* ဖိုင်ကို ဖွင့်ပါ။ +1. Visual Studio Code တွင် *flow.dag.yml* ဖိုင်ကိုဖွင့်ပါ။ -1. *flow.dag.yml* ဖိုင်ထဲ အောက်ပါကုဒ်ကို ထည့်ပါ။ +1. *flow.dag.yml* ထဲသို့ အောက်ပါကုဒ်ကို ထည့်ပါ။ ```yml inputs: @@ -1135,11 +1126,11 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် input_data: ${inputs.input_data} ``` -#### *integrate_with_promptflow.py* ဖိုင်ထဲ သို့ကုဒ်ထည့်ခြင်း +#### *integrate_with_promptflow.py* ဖိုင်သို့ ကုဒ်များထည့်သွင်းခြင်း -1. Visual Studio Code မှာ *integrate_with_promptflow.py* ဖိုင်ကို ဖွင့်ပါ။ +1. Visual Studio Code တွင် *integrate_with_promptflow.py* ဖိုင်ကိုဖွင့်ပါ။ -1. *integrate_with_promptflow.py* ဖိုင်ထဲ အောက်ပါကုဒ်ကို ထည့်ပါ။ +1. *integrate_with_promptflow.py* ထဲသို့ အောက်ပါကုဒ်ကို ထည့်ပါ။ ```python import logging @@ -1152,7 +1143,7 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် AZURE_ML_API_KEY ) - # မှတ်တမ်းတင်ခြင်း ဆက်တင်လုပ်ခြင်း + # မှတ်တမ်းတင်ခြင်း စနစ်စီစဉ်ခြင်း logging.basicConfig( format="%(asctime)s - %(levelname)s - %(name)s - %(message)s", datefmt="%Y-%m-%d %H:%M:%S", @@ -1205,21 +1196,21 @@ Phi-3 မော်ဒယ်ကို Prompt Flow နှင့် ပေါင် ``` -### သင့်ကိုယ်ပိုင် မော်ဒယ်ဖြင့် စကားပြောခြင်း +### သင့်စိတ်ကြိုက်မော်ဒယ်နှင့် စကားပြောခြင်း -1. *deploy_model.py* script ကို run ချင်တာအတွက် အောက်ပါ command ကို ရိုက်ထည့်ပြီး Azure Machine Learning မှာ deployment စတင်ပါ။ +1. *deploy_model.py* script ကို run ပြုလုပ်ရန် အောက်ပါ command ကို ရိုက်ထည့်ပြီး Azure Machine Learning တွင် deployment လုပ်ငန်းစဉ်ကို စတင်ပါ။ ```python pf flow serve --source ./ --port 8080 --host localhost ``` -1. ရလာဒ်နမူနာအနေဖြင့် - ယခု သင့်ကိုယ်ပိုင် Phi-3 မော်ဒယ်နှင့် စကားပြောနိုင်ပါပြီ။ fine-tuning အတွက်အသုံးပြုထားသော ဒေတာပေါ် အခြေခံ၍ မေးခွန်းများမေးရန် အကြံပြုသည်။ +1. ဤမှာရလဒ်တစ်ခု၏ဥပမာပြပါသည်- ယခု သင့်စိတ်ကြိုက် Phi-3 မော်ဒယ်နှင့် စကားပြောနိုင်ပါပြီ။ Fine-tuning အတွက်အသုံးပြုထားသော ဒေတာအပေါ် မေးခွန်းများမေးရန် အကြံပြုပါသည်။ - ![Prompt flow example.](../../../../../../translated_images/my/02-06-promptflow-example.89384abaf3ad71f6.webp) + ![Prompt flow ဥပမာ။](../../../../../../translated_images/my/02-06-promptflow-example.89384abaf3ad71f6.webp) --- -**တစ်ကြိမ်ပြောကြားချက်** -ဤစာတမ်းကို AI ဘာသာပြန်မှု ဝန်ဆောင်မှုဖြစ်သော [Co-op Translator](https://github.com/Azure/co-op-translator) ဖြင့် ဘာသာပြန်ထားခြင်းဖြစ်သည်။ တိကျမှန်ကန်မှုအတွက် ကြိုးပမ်းနေသော်လည်း အလိုအလျောက်ဘာသာပြန်မှုတွင် အမှားများ သို့မဟုတ် တိကျမှုကို ချွတ်ယွင်းမှုများ ရှိနိုင်ပါကြောင်း သတိပြုရန်လိုအပ်သည်။ မူလစာတမ်းကို မူရင်းဘာသာဖြင့်သာ ယုံကြည်နိုင်သော အမြောက်အမှတ် အရင်းအမြစ်အဖြစ် သတ်မှတ်အပ်ပါသည်။ အရေးကြီးသည့် အချက်အလက်များအတွက် ကုသိုလ်ရှင်ကျွမ်းကျင်သော လူ့ဘာသာပြန်များ၏ ဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်နိုင်သော မျိုးစုံသော စံချိန် ပြတ်လပ်မှုများ သို့မဟုတ် မှားယွင်းပုံဖြစ်ပေါ်မှုများအတွက် ကျွန်ုပ်တို့ တာဝန်မယူပါ။ +**ပြောကြားချက်** +ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးပမ်းနေသော်လည်း၊ စက်ကိရိယာဘာသာပြန်ခြင်းများတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် လိုအပ်ပါသည်။ မူလစာတမ်းကို မူရင်းဘာသာဖြင့်သာ ယုံကြည်စိတ်ချရသော အချက်အလက်အဖြစ် သတ်မှတ်သင့်သည်။ အရေးကြီးသည့် သတင်းအချက်အလက်များအတွက် ပရော်ဖက်ရှင်နယ် လူသားဘာသာပြန်သူဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုကွာခြားမှုများ သို့မဟုတ် မမှန်ကန်သော အသုံးပြုမှုများအတွက် ကျွန်ုပ်တို့ တာဝန်မခံပါ။ \ No newline at end of file diff --git a/translations/my/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/my/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 1ad776a19..c44a27925 100644 --- a/translations/my/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/my/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **OnnxRuntime GenAI Windows GPU အတွက် လမ်းညွှန်ချက်** -ဤလမ်းညွှန်ချက်သည် Windows ပေါ်တွင် GPU များနှင့် ONNX Runtime (ORT) ကို စတင်တပ်ဆင်ပြီး အသုံးပြုနည်းအဆင့်များကို ဖော်ပြထားသည်။ သင့်မော်ဒယ်များအတွက် GPU အမြန်နှုန်းမြှင့်တင်မှုကို အသုံးချနိုင်ရန်၊ စွမ်းဆောင်ရည်နှင့် ထိရောက်မှုကို တိုးတက်စေဖို့ ရည်ရွယ်ထားသည်။ +ဤလမ်းညွှန်ချက်သည် Windows ပေါ်တွင် GPU များဖြင့် ONNX Runtime (ORT) ကို တပ်ဆင်အသုံးပြုခြင်းဆိုင်ရာ အဆင့်များကို ပေးပါသည်။ သင့် မော်ဒယ်များအတွက် GPU ကြောင့် လျှင်မြန်မှုနှင့် ထိရောက်မှုတိုးတက်စေရန် ဒီလမ်းညွှန်ချက်ကို အသုံးပြုနိုင်မှာဖြစ်သည်။ -စာရွက်တွင် ပါဝင်သော အကြောင်းအရာများမှာ - +စာရွက်ဖြစ်သည်မှာ အောက်ပါအချက်များကို လမ်းညွှန်ပေးသည်- -- ပတ်ဝန်းကျင် တပ်ဆင်ခြင်း - CUDA, cuDNN နှင့် ONNX Runtime ကဲ့သို့ လိုအပ်သော အခြေခံပစ္စည်းများ တပ်ဆင်နည်း။ -- ဖွဲ့စည်းမှု - GPU အရင်းအမြစ်များကို ထိရောက်စွာ အသုံးပြုနိုင်ရန် ပတ်ဝန်းကျင်နှင့် ONNX Runtime ကို ပြင်ဆင်နည်း။ -- အကောင်းဆုံး စွမ်းဆောင်ရည်ရရှိစေရန် GPU ဆက်တင်များကို ပြင်ဆင်ခြင်းအကြံပြုချက်များ။ +- ပတ်ဝန်းကျင် ပြင်ဆင်ခြင်း: CUDA၊ cuDNN၊ နှင့် ONNX Runtime ကဲ့သို့ လိုအပ်သော အကူအညီပစ္စည်းများတပ်ဆင်နည်း။ +- ဆက်တင် ပြင်ဆင်ခြင်း: GPU အရင်းအမြစ်များကို ထိရောက်စွာ အသုံးပြုနိုင်ရန် ပတ်ဝန်းကျင်နှင့် ONNX Runtime ကို ပြင်ဆင်နည်း။ +- ပြုပြင်တိုးတတ်နည်းအကြံပြုချက်များ: စွမ်းဆောင်ရည်အကောင်းဆုံးရရှိစေရန် GPU ဆက်တင်များကို ညှိနှိုင်းနည်း။ ### **1. Python 3.10.x /3.11.8** - ***Note*** သင့် Python ပတ်ဝန်းကျင်အဖြစ် [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) ကို အသုံးပြုရန် အကြံပြုသည်။ + ***မှတ်ချက်*** သင့် Python ပတ်ဝန်းကျင်အဖြစ် [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) ကို အသုံးပြုရန် အကြံပြုသည် ```bash @@ -20,10 +20,11 @@ ``` - ***Reminder*** Python ONNX library များကို တပ်ဆင်ထားပါက အရင်ဆုံး ဖယ်ရှားပစ်ပါ။ + ***သတိပေးချက်*** Python ONNX 라이브러리를 တပ်ဆင်ပြီးသားရှိပါက အရင်ဆုံး ဖျက်ပစ်ရန်။ ### **2. winget ဖြင့် CMake တပ်ဆင်ခြင်း** + ```bash winget install -e --id Kitware.CMake @@ -32,10 +33,11 @@ ### **3. Visual Studio 2022 - Desktop Development with C++ တပ်ဆင်ခြင်း** - ***Note*** သင် compile မလုပ်ချင်ပါက ဤအဆင့်ကို ကျော်လွှားနိုင်သည်။ + ***မှတ်ချက်*** သင် compile မလုပ်ချင်ပါက ဒီအဆင့်ကို ကျော်လွှားနိုင်သည် ![CPP](../../../../../../translated_images/my/01.42f52a2b2aedff02.webp) + ### **4. NVIDIA Driver တပ်ဆင်ခြင်း** 1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** တပ်ဆင်ရာတွင် ပုံမှန် အဆင့်ဆင့်ကို အသုံးပြုပါ။ +***သတိပေးချက်*** တပ်ဆင်သည့်အခါ Default ဆက်တင်များကို အသုံးပြုရန် -### **5. NVIDIA ပတ်ဝန်းကျင် ပြင်ဆင်ခြင်း** +### **5. NVIDIA Env ကို သတ်မှတ်ခြင်း** -NVIDIA CUDNN 9.4 ရဲ့ lib, bin, include ဖိုင်များကို NVIDIA CUDA 12.4 ရဲ့ lib, bin, include ထဲသို့ ကူးယူပါ။ +NVIDIA CUDNN 9.4 lib, bin, include များကို NVIDIA CUDA 12.4 lib, bin, include ထဲသို့ ကူးယူပါ -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* ဖိုင်များကို *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* ထဲသို့ ကူးပါ။ +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* များကို *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* သို့ ကူးပါ -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* ဖိုင်များကို *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* ထဲသို့ ကူးပါ။ +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* များကို *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* သို့ ကူးပါ + +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* များကို *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* သို့ ကူးပါ -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* ဖိုင်များကို *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ထဲသို့ ကူးပါ။ ### **6. Phi-3.5-mini-instruct-onnx ကို ဒေါင်းလုပ်လုပ်ခြင်း** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ NVIDIA CUDNN 9.4 ရဲ့ lib, bin, include ဖိုင်များကိ ``` -### **7. InferencePhi35Instruct.ipynb ကို လည်ပတ်ခြင်း** +### **7. InferencePhi35Instruct.ipynb ကို ပြေးခြင်း** + + [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ကို ဖွင့်၍ အောက်ပါအတိုင်း အကောင်အထည်ဖော်ပါ - [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ကို ဖွင့်ပြီး အကောင်အထည်ဖော်ပါ။ ![RESULT](../../../../../../translated_images/my/02.b9b06996cf7255d5.webp) -### **8. ORT GenAI GPU ကို Compile လုပ်ခြင်း** - ***Note*** +### **8. ORT GenAI GPU ကို Compile ပြုလုပ်ခြင်း** + + + ***မှတ်ချက်*** - 1. onnx, onnxruntime နှင့် onnxruntime-genai အားလုံးကို အရင်ဆုံး ဖယ်ရှားပစ်ပါ။ + 1. ပထမဆုံး အထက်ပါ ONNX နှင့် ONNX Runtime နှင့် ONNX Runtime GenAI library များအားလုံးကို ဖျက်ပစ်ပါ + ```bash pip list ``` - ထို့နောက် onnxruntime library များအားလုံးကို ဖယ်ရှားပစ်ပါ။ + ထို့နောက် onnxruntime library များအားလုံးကို ဖျက်ပစ်ပါ။ + ```bash @@ -100,11 +109,17 @@ NVIDIA CUDNN 9.4 ရဲ့ lib, bin, include ဖိုင်များကိ ``` - 2. Visual Studio Extension ကို စစ်ဆေးပါ။ + 2. Visual Studio Extension ပံ့ပိုးမှုကို စစ်ဆေးပါ + + C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras တွင် C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ဖိုင်လ်ကို တွေ့ရှိရမည်။ + + မတွေ့လျှင် အခြား CUDA toolkit driver ဖိုလ်ဒါများအား စစ်ဆေး၍ visual_studio_integration ဖိုလ်ဒါနှင့် ထဲတွင်းပါဝင်ပစ္စည်းများကို C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ထဲသို့ ကူးပါ + - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras တွင် C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ဖိုင်လ်ရှိမရှိ စစ်ဆေးပါ။ မရှိပါက အခြား Cuda toolkit driver ဖိုလ်ဒါများထဲမှ visual_studio_integration ဖိုလ်ဒါနှင့် အတွင်းဖိုင်များကို ကူးယူပြီး C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ထဲသို့ ထည့်ပါ။ - - compile မလုပ်ချင်ပါက ဤအဆင့်ကို ကျော်လွှားနိုင်သည်။ + + - သင် compile မလုပ်ချင်ပါက ဒီအဆင့်ကို ကျော်လွှားနိုင်သည် + ```bash @@ -112,16 +127,17 @@ NVIDIA CUDNN 9.4 ရဲ့ lib, bin, include ဖိုင်များကိ ``` - - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) ကို ဒေါင်းလုပ်လုပ်ပါ။ + - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) ကို ဒေါင်းလုပ်လုပ်ပါ - - onnxruntime-win-x64-gpu-1.19.2.zip ကို ဖွင့်ပြီး **ort** ဟု အမည်ပြောင်းပြီး onnxruntime-genai ထဲသို့ ကူးပါ။ + - onnxruntime-win-x64-gpu-1.19.2.zip ကိုဖွင့်ပြီး **ort** ဟူ၍ အမည်ပြောင်းပြီး onnxruntime-genai ထဲသို့ ort ဖိုလ်ဒါကို ကူးပါ - - Windows Terminal ကို အသုံးပြု၍ Developer Command Prompt for VS 2022 သို့ ဝင်ပြီး onnxruntime-genai သို့ သွားပါ။ + - Windows Terminal ကို အသုံးပြု၍ Developer Command Prompt for VS 2022 သို့သွားပြီး onnxruntime-genai ထဲသို့ ဝင်ပါ ![RESULT](../../../../../../translated_images/my/03.b83ce473d5ff9b9b.webp) - - သင့် Python ပတ်ဝန်းကျင်ဖြင့် compile လုပ်ပါ။ + - သင့် Python ပတ်ဝန်းကျင်ဖြင့် compile လုပ်ပါ + ```bash cd onnxruntime-genai @@ -135,5 +151,9 @@ NVIDIA CUDNN 9.4 ရဲ့ lib, bin, include ဖိုင်များကိ ``` -**အကြောင်းကြားချက်** -ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ဖြင့် ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် မေတ္တာရပ်ခံအပ်ပါသည်။ မူရင်းစာတမ်းကို မိမိဘာသာစကားဖြင့်သာ တရားဝင်အချက်အလက်အဖြစ် ယူဆသင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်မှ ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုရာမှ ဖြစ်ပေါ်လာနိုင်သည့် နားလည်မှုမှားယွင်းမှုများအတွက် ကျွန်ုပ်တို့ တာဝန်မယူပါ။ \ No newline at end of file +--- + + +**ပြောကြားချက်** +ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးပမ်းနေသော်လည်း၊ စက်ကိရိယာဘာသာပြန်ခြင်းများတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် လိုအပ်ပါသည်။ မူလစာတမ်းကို မူရင်းဘာသာဖြင့်သာ ယုံကြည်စိတ်ချရသော အချက်အလက်အဖြစ် သတ်မှတ်သင့်သည်။ အရေးကြီးသည့် သတင်းအချက်အလက်များအတွက် ပရော်ဖက်ရှင်နယ် လူသားဘာသာပြန်သူဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုကွာခြားမှုများ သို့မဟုတ် မမှန်ကန်သော အသုံးပြုမှုများအတွက် ကျွန်ုပ်တို့ တာဝန်မခံပါ။ + \ No newline at end of file diff --git a/translations/my/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/my/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 461941f4a..c7ed534e3 100644 --- a/translations/my/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/my/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,24 +1,24 @@ -# Windows GPU ကို အသုံးပြုပြီး Phi-3.5-Instruct ONNX ဖြင့် Prompt flow ဖြေရှင်းချက် ဖန်တီးခြင်း +# Phi-3.5-Instruct ONNX နှင့်အတူ Windows GPU ကိုအသုံးပြုကာ Prompt flow ဖြေရှင်းချက် ဖန်တီးခြင်း -အောက်ပါစာတမ်းသည် Phi-3 မော်ဒယ်များအပေါ် အခြေခံ၍ AI အက်ပလီကေးရှင်းများ ဖန်တီးရာတွင် ONNX (Open Neural Network Exchange) နှင့် PromptFlow ကို မည်သို့ အသုံးပြုရမည်ကို ဥပမာပြထားသည်။ +အောက်ပါစာရွက်စာတမ်းမှာ Phi-3 မော်ဒယ်များအခြေခံ၍ AI ဆော့ဖ်ဝဲများဖန်တီးရာတွင် ONNX (Open Neural Network Exchange) နှင့် PromptFlow ကို မည်သို့အသုံးပြုရမည်ကို နမူနာဖော်ပြထားသည်။ -PromptFlow သည် LLM (Large Language Model) အခြေခံ AI အက်ပလီကေးရှင်းများ၏ စဉ်ဆက်မပြတ် ဖန်တီးမှု လုပ်ငန်းစဉ်ကို အဆင်ပြေစေရန် ဖန်တီးထားသော ဖွံ့ဖြိုးရေးကိရိယာများ စုစည်းမှုဖြစ်ပြီး စိတ်ကူးကနေ စမ်းသပ်ခြင်း၊ သုံးသပ်ခြင်းအထိ အဆင့်ဆင့် လုပ်ငန်းစဉ်များကို လွယ်ကူစွာ စီမံခန့်ခွဲနိုင်စေသည်။ +PromptFlow သည် LLM အခြေခံ AI ဆော့ဖ်ဝဲများ၏ အတွင်းစဉ်ဖွံ့ဖြိုးတိုးတက်မှု အရွယ်အစားအပြည့်အစုံကို အဆိုပြုစီမံခန့်ခွဲပေးသည့် ဖွံ့ဖြိုးရေးကိရိယာစုစည်းမှုဖြစ်ပြီး စဉ်းစားတည်ဆောက်ခြင်း၊ မော်ကွန်းပြုလုပ်ခြင်းမှစ၍ စမ်းသပ်ခြင်းနှင့် အကဲဖြတ်ခြင်းအထိ လွယ်ကူစွာ လုပ်ကိုင်နိုင်စေသည်။ -PromptFlow ကို ONNX နှင့် ပေါင်းစပ်အသုံးပြုခြင်းဖြင့် ဖွံ့ဖြိုးသူများသည် - +PromptFlow ကို ONNX နှင့် ပေါင်းစပ်၍ ဖွံ့ဖြိုးသူများသည် - -- မော်ဒယ်စွမ်းဆောင်ရည် တိုးတက်စေခြင်း - ONNX ကို အသုံးပြု၍ မော်ဒယ် inference နှင့် တပ်ဆင်ခြင်းကို ထိရောက်စွာ ပြုလုပ်နိုင်သည်။ -- ဖွံ့ဖြိုးရေး လုပ်ငန်းစဉ် လွယ်ကူစေခြင်း - PromptFlow ဖြင့် workflow ကို စီမံခန့်ခွဲပြီး ထပ်ခါထပ်ခါ လုပ်ဆောင်ရသော အလုပ်များကို အလိုအလျောက် ပြုလုပ်နိုင်သည်။ -- ပူးပေါင်းဆောင်ရွက်မှု တိုးတက်စေခြင်း - တစ်ဖက်သတ် ဖွံ့ဖြိုးရေးပတ်ဝန်းကျင်တစ်ခုဖြင့် အဖွဲ့ဝင်များအကြား ပိုမိုကောင်းမွန်သော ပူးပေါင်းဆောင်ရွက်မှုကို အထောက်အကူပြုသည်။ +- မော်ဒယ်စွမ်းဆောင်ရည် တိုးတက်စေရန်: မော်ဒယ်အထွက်မှတ်တမ်းများကို ပိုမိုထိရောက်စွာ ပြုလုပ်နိုင်ရန် ONNX ကိုအသုံးပြုပါ။ +- ဖွံ့ဖြိုးရေး လွယ်ကူစေရန်: PromptFlow ဖြင့် အလုပ်စဉ်ကို စီမံ၍ ပြန်လည်လုပ်ဆောင်မည့် အလုပ်များကို အလိုအလျောက်ပြုလုပ်ပါ။ +- ပူးပေါင်းဆောင်ရွက်မှု မြှင့်တင်ရန်: အသင်းဖွဲ့ဝင်များအကြား ပူးပေါင်းဆောင်ရွက်မှုကို ကောင်းမွန်စေရန် စုံလင်သော ဖွံ့ဖြိုးရေးပတ်ဝန်းကျင် ပံ့ပိုးပေးပါ။ -**Prompt flow** သည် LLM အခြေခံ AI အက်ပလီကေးရှင်းများ၏ စိတ်ကူးကနေ စမ်းသပ်ခြင်း၊ သုံးသပ်ခြင်း၊ ထုတ်လုပ်မှု တပ်ဆင်ခြင်းနှင့် စောင့်ကြည့်ခြင်းအထိ စဉ်ဆက်မပြတ် ဖွံ့ဖြိုးရေးလုပ်ငန်းစဉ်ကို လွယ်ကူစေရန် ဖန်တီးထားသော ကိရိယာများ စုစည်းမှုဖြစ်သည်။ Prompt engineering ကို ပိုမိုလွယ်ကူစေပြီး ထုတ်လုပ်မှုအရည်အသွေးရှိသော LLM အက်ပလီကေးရှင်းများ ဖန်တီးနိုင်စေသည်။ +**Prompt flow** သည် LLM အခြေခံ AI ဆော့ဖ်ဝဲများ၏ စဉ်းစားတည်ဆောက်ခြင်း၊ မော်ကွန်းပြုလုပ်ခြင်း၊ စမ်းသပ်ခြင်း၊ အကဲဖြတ်ခြင်းမှ စပြီး ထုတ်လုပ်မှု ထည့်သွင်းခြင်းနှင့် ထိန်းသိမ်းမှုအထိ အလုပ်စဉ်အများဆုံးကို လွယ်ကူမြန်ဆန်စွာ တည်ဆောက်နိုင်သော ဖွံ့ဖြိုးရေးကိရိယာစုစည်းမှုဖြစ်ပြီး prompt engineering ကို ပို၍ လွယ်ကူစေပြီး ထုတ်လုပ်မှုအရည်အသွေးရှိသော LLM app များ တည်ဆောက်နိုင်စေသည်။ -Prompt flow သည် OpenAI, Azure OpenAI Service နှင့် စိတ်ကြိုက်ပြင်ဆင်နိုင်သော မော်ဒယ်များ (Huggingface, ဒေသခံ LLM/SLM) နှင့် ချိတ်ဆက်နိုင်သည်။ Phi-3.5 ၏ quantized ONNX မော်ဒယ်ကို ဒေသခံ အက်ပလီကေးရှင်းများတွင် တပ်ဆင်ရန် မျှော်လင့်ထားသည်။ Prompt flow သည် Phi-3.5 အခြေခံ ဒေသခံ ဖြေရှင်းချက်များကို ပိုမိုကောင်းမွန်စွာ စီမံခန့်ခွဲနိုင်ရန် အထောက်အကူပြုနိုင်သည်။ ဤဥပမာတွင် Windows GPU အခြေခံ ONNX Runtime GenAI Library ကို ပေါင်းစပ်၍ Prompt flow ဖြေရှင်းချက်ကို ပြီးမြောက်စေမည်ဖြစ်သည်။ +Prompt flow သည် OpenAI, Azure OpenAI Service နှင့် ကိုယ်ပိုင်ပြုပြင်နိုင်သော မော်ဒယ်များ (Huggingface, ဒေသတွင်း LLM/SLM) နှင့် ချိတ်ဆက်နိုင်သည်။ ကျွန်ုပ်တို့တွင် Phi-3.5 ၏ quantized ONNX မော်ဒယ်ကို ဒေသတွင်း ဆော့ဖ်ဝဲများအတွက် ထည့်သွင်းအသုံးပြုရန် ရည်ရွယ်သည်။ Prompt flow သည် ကျွန်ုပ်တို့၏ စီးပွားရေးအစီအစဉ်များကို ပိုမိုအစီအစဉ်ပြုနိုင်ချင်းနှင့် Phi-3.5 အခြေခံ ဒေသတွင်း ဖြေရှင်းချက်များကို ပြီးမြောက်စွာ တည်ဆောက်နိုင်ရန် ကူညီပေးနိုင်သည်။ ဤနမူနာတွင် Windows GPU အခြေခံ ONNX Runtime GenAI စာကြည့်တိုက်ကို ပေါင်းစပ်ပြီး Prompt flow ဖြေရှင်းချက်ကို ပြီးမြောက်စေရမည်ဖြစ်သည်။ ## **တပ်ဆင်ခြင်း** ### **Windows GPU အတွက် ONNX Runtime GenAI** -Windows GPU အတွက် ONNX Runtime GenAI ကို တပ်ဆင်ရန် ဤလမ်းညွှန်ကို ဖတ်ပါ [click here](./ORTWindowGPUGuideline.md) +Windows GPU အတွက် ONNX Runtime GenAI ကို တပ်ဆင်ရန် လမ်းညွှန်ချက်တွင် ဖတ်ရှုရန် [click here](./ORTWindowGPUGuideline.md) ### **VSCode တွင် Prompt flow ကို စတင်တပ်ဆင်ခြင်း** @@ -26,33 +26,34 @@ Windows GPU အတွက် ONNX Runtime GenAI ကို တပ်ဆင်ရ ![pfvscode](../../../../../../translated_images/my/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code Extension တပ်ဆင်ပြီးနောက်၊ extension ကို နှိပ်ပြီး **Installation dependencies** ကို ရွေးချယ်ပါ၊ ဤလမ်းညွှန်အတိုင်း Prompt flow SDK ကို သင့်ပတ်ဝန်းကျင်တွင် တပ်ဆင်ပါ +2. Prompt flow VS Code Extension တပ်ဆင်ပြီးပါက Extension ကိုနှိပ်ပြီး **Installation dependencies** ကို ရွေးချယ်ပြီး မှတ်စုရန် လမ်းညွှန်ချက်အတိုင်း Prompt flow SDK ကို သင့်ပတ်ဝန်းကျင်တွင် တပ်ဆင်ပါ။ ![pfsetup](../../../../../../translated_images/my/pfsetup.b46e93096f5a254f.webp) -3. [နမူနာကုဒ်](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ကို ဒေါင်းလုပ်လုပ်ပြီး VS Code ဖြင့် ဖွင့်ပါ +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ကိုဒေါင်းလုပ်လုပ်ပြီး VS Code ဖြင့် ဒီနမူနာကို ဖွင့်ပါ ![pfsample](../../../../../../translated_images/my/pfsample.8d89e70584ffe7c4.webp) -4. **flow.dag.yaml** ကို ဖွင့်ပြီး သင့် Python ပတ်ဝန်းကျင်ကို ရွေးချယ်ပါ +4. **flow.dag.yaml** ကိုဖွင့်ပြီး သင့် Python ပတ်ဝန်းကျင်ကို ရွေးချယ်ပါ ![pfdag](../../../../../../translated_images/my/pfdag.264a77f7366458ff.webp) - **chat_phi3_ort.py** ကို ဖွင့်ပြီး သင့် Phi-3.5-instruct ONNX မော်ဒယ် တည်နေရာကို ပြောင်းလဲပါ + **chat_phi3_ort.py** ကိုဖွင့်၍ သင့် Phi-3.5-instruct ONNX မော်ဒယ်တည်နေရာကို ပြောင်းလဲပါ ![pfphi](../../../../../../translated_images/my/pfphi.72da81d74244b45f.webp) -5. သင့် prompt flow ကို စမ်းသပ်ရန် ပြေးပါ +5. သင့် prompt flow ကို စမ်းသပ်ရန် အမေးအဖြေပြုလုပ်ပါ -**flow.dag.yaml** ကို ဖွင့်ပြီး visual editor ကို နှိပ်ပါ +**flow.dag.yaml** ကိုဖွင့်ပြီး visual editor ကိုနှိပ်ပါ ![pfv](../../../../../../translated_images/my/pfv.ba8a81f34b20f603.webp) -နှိပ်ပြီးနောက် စမ်းသပ်ရန် ပြေးပါ +၎င်းကို နှိပ်ပြီး စမ်းသပ်ရန် ဂရုစိုက်ဆောင်ရွက်ပါ ![pfflow](../../../../../../translated_images/my/pfflow.4e1135a089b1ce1b.webp) -1. terminal တွင် batch ကို ပြေး၍ ပိုမိုသော ရလဒ်များကို စစ်ဆေးနိုင်သည် +1. terminal မှ batch ကို လည်ပတ်စေ၍ နောက်ထပ်ရလဒ်များကို စစ်ဆေးနိုင်သည် + ```bash @@ -60,9 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -သင့်ပုံမှန် browser တွင် ရလဒ်များကို စစ်ဆေးနိုင်သည် +သင်၏ သတ်မှတ်ထားသော browser တွင် ရလဒ်များကို ကြည့်ရှုနိုင်ပါသည်။ + ![pfresult](../../../../../../translated_images/my/pfresult.c22c826f8062d7cb.webp) -**အကြောင်းကြားချက်** -ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ဖြင့် ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းများတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် မေတ္တာရပ်ခံအပ်ပါသည်။ မူရင်းစာတမ်းကို မိမိဘာသာစကားဖြင့်သာ တရားဝင်အချက်အလက်အဖြစ် ယူဆသင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်မှ ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုရာမှ ဖြစ်ပေါ်လာနိုင်သည့် နားလည်မှုမှားယွင်းမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file +--- + + +**ပြောကြားချက်** +ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးပမ်းနေသော်လည်း၊ စက်ကိရိယာဘာသာပြန်ခြင်းများတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် လိုအပ်ပါသည်။ မူလစာတမ်းကို မူရင်းဘာသာဖြင့်သာ ယုံကြည်စိတ်ချရသော အချက်အလက်အဖြစ် သတ်မှတ်သင့်သည်။ အရေးကြီးသည့် သတင်းအချက်အလက်များအတွက် ပရော်ဖက်ရှင်နယ် လူသားဘာသာပြန်သူဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုကွာခြားမှုများ သို့မဟုတ် မမှန်ကန်သော အသုံးပြုမှုများအတွက် ကျွန်ုပ်တို့ တာဝန်မခံပါ။ + \ No newline at end of file diff --git a/translations/ne/.co-op-translator.json b/translations/ne/.co-op-translator.json index 25565d3cc..468eac2bc 100644 --- a/translations/ne/.co-op-translator.json +++ b/translations/ne/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:18:37+00:00", + "translation_date": "2026-07-29T17:02:50+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ne" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:41:48+00:00", + "translation_date": "2026-07-29T17:03:28+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ne" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:59:11+00:00", + "translation_date": "2026-07-29T17:03:07+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ne" }, diff --git a/translations/ne/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ne/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 924c08367..99e343f3a 100644 --- a/translations/ne/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ne/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Model Builder प्रयोग गरेर Phi-3.5 लाई कसरी क्वान्टाइज गर्ने** +# **onnxruntime का लागि Generative AI एक्सटेन्सनहरू प्रयोग गरेर Phi परिवारलाई गुणांकन गर्ने** -Model Builder अब Phi-3.5 Instruct र Phi-3.5-Vision का लागि ONNX मोडेल क्वान्टाइजेसन समर्थन गर्दछ। +## **onnxruntime का लागि Generative AI एक्सटेन्सनहरू के हुन्** + +यो एक्सटेन्सनहरूले तपाईंलाई ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) सँग generative AI चलाउन मद्दत गर्छ। यसले ONNX मोडेलहरूको लागि generative AI लूप प्रदान गर्दछ, जसमा ONNX Runtime सँग inference, logits प्रक्रिया, खोज र स्याम्पलिंग, र KV cache व्यवस्थापन समावेश छन्। विकासकर्ताहरूले उच्च स्तरको generate() विधि कल गर्न सक्छन्, वा मोडेलको प्रत्येक पुनरावृत्ति लूपमा चलाएर एक पटकमा एउटा टोकन उत्पन्न गर्न सक्छन्, र इच्छानुसार लूपभित्र उत्पादन प्यारामिटरहरू अद्यावधिक गर्न सक्छन्। यसले greedy/beam search र TopP, TopK स्याम्पलिंग समर्थन गर्दछ टोकन अनुक्रमहरू उत्पन्न गर्न र पुनरावृत्ति सजायहरू जस्तै अन्तर्निर्मित logits प्रक्रिया। तपाईं सजिलै अनुकूलन स्कोरिङ पनि थप्न सक्नुहुन्छ। + +अनुप्रयोग स्तरमा, तपाईं Generative AI एक्सटेन्सनहरूलाई C++/ C# / Python प्रयोग गरेर अनुप्रयोगहरू निर्माण गर्न प्रयोग गर्न सक्नुहुन्छ। मोडेल स्तरमा, तपाईं यसलाई राम्रो गरी ट्यून गरिएका मोडेलहरू मर्ज गर्न र सम्बन्धित गुणात्मक परिनियोजन कार्य गर्न प्रयोग गर्न सक्नुहुन्छ। + + +## **onnxruntime का लागि Generative AI एक्सटेन्सनहरूसँग Phi-3.5 लाई गुणांकन गर्ने** + +### **समर्थित मोडेलहरू** + +onnxruntime का लागि Generative AI एक्सटेन्सनहरूले Microsoft Phi, Google Gemma, Mistral, Meta LLaMA को गुणांकन रूपान्तरण समर्थन गर्दछन्। + + +### **onnxruntime का लागि Generative AI एक्सटेन्सनहरूमा मोडेल बिल्डर** + +मोडेल बिल्डरले ONNX Runtime generate() API सँग चल्ने अनुकूलित र गुणांकित ONNX मोडेलहरू बनाउन ठूलो छिटो बनाउँछ। + +मोडेल बिल्डरमार्फत, तपाईं मोडेललाई INT4, INT8, FP16, FP32 मा गुणांक गर्न सक्नुहुन्छ र CPU, CUDA, DirectML, मोबाइल जस्ता विभिन्न हार्डवेयर एक्सेलेरेसन विधिहरू संयोजन गर्न सक्नुहुन्छ। + +मोडेल बिल्डर प्रयोग गर्न तपाईंलाई स्थापना गर्न आवश्यक छ + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +स्थापना पछि, तपाईं मोडेल प्रारूप र गुणांकन रूपान्तरण प्रदर्शन गर्न टर्मिनलबाट मोडेल बिल्डर स्क्रिप्ट चलाउन सक्नुहुन्छ। + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +सम्बन्धित प्यारामिटरहरू बुझ्नुहोस् + +1. **model_name** यो Hugging face मा भएको मोडेल हो, जस्तै microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, आदि। यो त्यहाँ मोडेल संग्रह गरिएको पथ पनि हुन सक्छ + +2. **path_to_output_folder** गुणांकित रूपान्तरण बचत गर्ने पथ + +3. **execution_provider** विभिन्न हार्डवेयर एक्सेलेरेसन समर्थन, जस्तै cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** हामी मोडेल Hugging face बाट डाउनलोड गर्छौं र स्थानीय रूपमा क्यास गर्छौं + + + + +***टिप्पणी：*** + +## **Phi-3.5 गुणांक गर्न मोडेल बिल्डर कसरी प्रयोग गर्ने** + +मोडेल बिल्डर अहिले Phi-3.5 Instruct र Phi-3.5-Vision का लागि ONNX मोडेल गुणांकन समर्थन गर्दछ ### **Phi-3.5-Instruct** -**CPU द्वारा तीव्र गरिएको क्वान्टाइज्ड INT4 रूपान्तरण** + +**गुणांकित INT 4 को CPU एक्सेलेरेसन रूपान्तरण** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA द्वारा तीव्र गरिएको क्वान्टाइज्ड INT4 रूपान्तरण** +**गुणांकित INT 4 को CUDA एक्सेलेरेसन रूपान्तरण** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. models फोल्डरमा microsoft/Phi-3.5-vision-instruct डाउनलोड गर्नुहोस् +2. models फोल्डरमा microsoft/Phi-3.5-vision-instruct डाउनलोड गर्नुहोस् [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. यी फाइलहरू तपाईंको Phi-3.5-vision-instruct फोल्डरमा डाउनलोड गर्नुहोस् +3. कृपया यी फाइलहरू तपाईंको Phi-3.5-vision-instruct फोल्डरमा डाउनलोड गर्नुहोस् - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. models फोल्डरमा यो फाइल डाउनलोड गर्नुहोस् + +4. models फोल्डरमा यो फाइल डाउनलोड गर्नुहोस् [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. टर्मिनलमा जानुहोस् - FP32 को साथ ONNX समर्थन रूपान्तरण गर्नुहोस् + FP32 सँग ONNX समर्थन रूपान्तरण गर्नुहोस् + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **ध्यान दिनुहोस्：** -1. Model Builder हाल Phi-3.5-Instruct र Phi-3.5-Vision को रूपान्तरण समर्थन गर्दछ, तर Phi-3.5-MoE लाई समर्थन गर्दैन। +### **टिप्पणी：** + +1. मोडेल बिल्डर हाल Phi-3.5-Instruct र Phi-3.5-Vision को रूपान्तरण समर्थन गर्दछ, तर Phi-3.5-MoE होइन -2. ONNX को क्वान्टाइज्ड मोडेल प्रयोग गर्न, तपाईं यसलाई Generative AI extensions for onnxruntime SDK मार्फत प्रयोग गर्न सक्नुहुन्छ। +2. ONNX को गुणांकित मोडेललाई तपाईं Generative AI एक्सटेन्सनहरूका माध्यमबाट प्रयोग गर्न सक्नुहुन्छ -3. हामीले जिम्मेवार AI को बारेमा थप विचार गर्न आवश्यक छ, त्यसैले मोडेल क्वान्टाइजेसन रूपान्तरण पछि, थप प्रभावकारी परिणाम परीक्षण गर्न सिफारिस गरिन्छ। +3. हामीलाई अधिक जिम्मेवार AI विचार गर्न आवश्यक छ, त्यसैले मोडेल गुणांकन रूपान्तरण पछि थप प्रभावकारी परिणाम परीक्षण गर्नु सिफारिस गरिन्छ + +4. CPU INT4 मोडेल गुणांकन गरेर हामी यसलाई Edge Device मा परिनियोजन गर्न सक्छौं जुन राम्रो अनुप्रयोग परिदृश्यहरूमा छ, त्यसैले हामीले Phi-3.5-Instruct लाई INT 4 वरिपरि पूरा गरेका छौं -4. CPU INT4 मोडेल क्वान्टाइज गरेर, हामी यसलाई Edge Device मा तैनाथ गर्न सक्छौं, जसले राम्रो अनुप्रयोग परिदृश्यहरू प्रदान गर्दछ, त्यसैले हामीले Phi-3.5-Instruct लाई INT4 वरिपरि पूरा गरेका छौं। ## **स्रोतहरू** -1. Generative AI extensions for onnxruntime बारे थप जान्न [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. onnxruntime का लागि Generative AI एक्सटेन्सनहरू बारे थप जान्न [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. onnxruntime का लागि Generative AI एक्सटेन्सनहरू GitHub रिपोजिटरी [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub रिपोजिटरी [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**अस्वीकरण**: -यो दस्तावेज AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरी अनुवाद गरिएको हो। हामी शुद्धताका लागि प्रयासरत छौं, तर कृपया ध्यान दिनुहोस् कि स्वचालित अनुवादमा त्रुटि वा अशुद्धता हुन सक्छ। मूल दस्तावेज यसको मूल भाषामा नै अधिकारिक स्रोत मानिनु पर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलतफहमी वा गलत व्याख्याका लागि हामी जिम्मेवार छैनौं। \ No newline at end of file + +**अस्वीकरण**: +यो दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरेर अनुवाद गरिएको हो। हामी सही हुन प्रयास गर्छौं, तर कृपया जानकार हुनुस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छन्। मूल दस्तावेज़ यसको मूल भाषामा आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलत बुझाइ वा त्रुटिको लागि हामी जिम्मेवार छैनौं। + \ No newline at end of file diff --git a/translations/ne/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ne/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 55cb06ca7..bde2fd816 100644 --- a/translations/ne/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ne/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **OnnxRuntime GenAI Windows GPU का लागि मार्गनिर्देशन** +# **OnnxRuntime GenAI Windows GPU को लागि मार्गनिर्देशन** -यो मार्गनिर्देशनले Windows मा GPU सँग ONNX Runtime (ORT) सेटअप र प्रयोग गर्ने चरणहरू प्रदान गर्दछ। यसले तपाईंलाई GPU एक्सेलेरेशनको फाइदा उठाएर मोडेलहरूको प्रदर्शन र दक्षता सुधार गर्न मद्दत पुर्‍याउँछ। +यो मार्गनिर्देशन Windows मा GPU हरुसँग ONNX Runtime (ORT) सेटअप र प्रयोग गर्ने चरणहरू प्रदान गर्दछ। यो तपाईका मोडेलहरूका लागि GPU एक्सेलेरेशन उपयोग गर्ने मद्दत गर्न डिजाइन गरिएको हो, जसले प्रदर्शन र दक्षता सुधार गर्छ। -यस दस्तावेजले निम्न विषयहरूमा मार्गदर्शन गर्दछ: +दस्तावेजले निम्न विषयमा मार्गनिर्देशन प्रदान गर्दछ: -- वातावरण सेटअप: CUDA, cuDNN, र ONNX Runtime जस्ता आवश्यक निर्भरता स्थापना गर्ने निर्देशनहरू। -- कन्फिगरेसन: GPU स्रोतहरू प्रभावकारी रूपमा प्रयोग गर्न वातावरण र ONNX Runtime कसरी कन्फिगर गर्ने। -- अनुकूलन सुझावहरू: उत्कृष्ट प्रदर्शनका लागि GPU सेटिङहरू कसरी परिमार्जन गर्ने सल्लाहहरू। +- वातावरण सेटअप: CUDA, cuDNN, र ONNX Runtime जस्ता आवश्यक निर्भरता स्थापना गर्ने निर्देशन। +- कन्फिगरेसन: वातावरण र ONNX Runtime लाई GPU स्रोतहरू प्रभावकारी रूपमा उपयोग गर्न कसरी कन्फिगर गर्ने। +- अनुकूलन सुझावहरू: तपाईंको GPU सेटिङहरूलाई उत्कृष्ट प्रदर्शनका लागि कसरी ठीकठाक पार्ने सल्लाह। ### **1. Python 3.10.x /3.11.8** - ***Note*** तपाईंको Python वातावरणको लागि [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) प्रयोग गर्न सिफारिस गरिन्छ + ***सूचना*** तपाईंको Python वातावरणको रूपमा [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) प्रयोग गर्न सुझाव दिइन्छ ```bash @@ -20,9 +20,10 @@ ``` - ***Reminder*** यदि तपाईंले पहिले Python ONNX लाइब्रेरी स्थापना गर्नुभएको छ भने, कृपया यसलाई अनइन्स्टल गर्नुहोस् + ***स्मरण*** यदि तपाईंले Python ONNX लाइब्रेरी केही स्थापना गर्नुभएको छ भने कृपया यसलाई अनइन्स्टल गर्नुहोस् + +### **2. winget प्रयोग गरी CMake स्थापना गर्नुहोस्** -### **2. winget मार्फत CMake स्थापना गर्नुहोस्** ```bash @@ -30,34 +31,37 @@ ``` -### **3. Visual Studio 2022 - Desktop Development with C++ स्थापना गर्नुहोस्** +### **3. Visual Studio 2022 - C++ सहित डेस्कटप विकास स्थापना गर्नुहोस्** - ***Note*** यदि तपाईंले कम्पाइल गर्न चाहनुहुन्न भने यो चरण छोड्न सक्नुहुन्छ + ***सूचना*** तपाईं कम्पाइल गर्न नचाहनुहुन्छ भने यो चरण छोड्न सक्नुहुन्छ ![CPP](../../../../../../translated_images/ne/01.42f52a2b2aedff02.webp) + ### **4. NVIDIA ड्राइभर स्थापना गर्नुहोस्** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU ड्राइभर** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** कृपया स्थापना प्रक्रियामा डिफल्ट सेटिङहरू प्रयोग गर्नुहोस् +***स्मरण*** कृपया स्थापना प्रक्रियामा पूर्वनिर्धारित सेटिङहरू प्रयोग गर्नुहोस् ### **5. NVIDIA वातावरण सेट गर्नुहोस्** -NVIDIA CUDNN 9.4 को lib, bin, include फोल्डरहरू NVIDIA CUDA 12.4 को lib, bin, include मा कपी गर्नुहोस् +NVIDIA CUDNN 9.4 का lib, bin, include फाइलहरू NVIDIA CUDA 12.4 का lib, bin, include फोल्डरहरूमा कपी गर्नुहोस् -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* का फाइलहरू *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* मा कपी गर्नुहोस् +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* का फाइलहरूलाई *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* मा कपी गर्नुहोस् -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* का फाइलहरू *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* मा कपी गर्नुहोस् +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* का फाइलहरूलाई *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* मा कपी गर्नुहोस् + +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* का फाइलहरूलाई *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* मा कपी गर्नुहोस् -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* का फाइलहरू *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* मा कपी गर्नुहोस् ### **6. Phi-3.5-mini-instruct-onnx डाउनलोड गर्नुहोस्** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ NVIDIA CUDNN 9.4 को lib, bin, include फोल्डरहरू NVIDIA CUD ### **7. InferencePhi35Instruct.ipynb चलाउनुहोस्** - [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) खोल्नुहोस् र कार्यान्वयन गर्नुहोस् + [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) खोल्नुहोस् र निष्पादन गर्नुहोस् + ![RESULT](../../../../../../translated_images/ne/02.b9b06996cf7255d5.webp) + ### **8. ORT GenAI GPU कम्पाइल गर्नुहोस्** - ***Note*** + + ***सूचना*** - 1. कृपया सबै onnx, onnxruntime, र onnxruntime-genai लाई पहिले अनइन्स्टल गर्नुहोस् + 1. कृपया सर्वप्रथम सबै onnx, onnxruntime, र onnxruntime-genai लाई अनइन्स्टल गर्नुहोस् + ```bash pip list ``` - त्यसपछि सबै onnxruntime लाइब्रेरीहरू अनइन्स्टल गर्नुहोस्, जस्तै: + त्यसपछि सबै onnxruntime लाइब्रेरीहरूलाई अनइन्स्टल गर्नुहोस् जस्तै + ```bash @@ -100,13 +109,17 @@ NVIDIA CUDNN 9.4 को lib, bin, include फोल्डरहरू NVIDIA CUD ``` - 2. Visual Studio Extension समर्थन जाँच गर्नुहोस् + 2. Visual Studio एक्सटेन्सन समर्थन जाँच गर्नुहोस् + + C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras मा हेर्नुहोस् र सुनिश्चित गर्नुहोस् कि C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration फोल्डर छ। + + नभए अन्य CUDA toolkit ड्राइभर फोल्डरहरू जाँच गर्नुहोस् र visual_studio_integration फोल्डर र सामग्रीहरू C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration मा कपी गर्नुहोस् + - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras मा गएर सुनिश्चित गर्नुहोस् कि C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration फोल्डर छ। - यदि फेला परेन भने, अन्य CUDA toolkit ड्राइभर फोल्डरहरू जाँच्नुहोस् र visual_studio_integration फोल्डर र त्यसका सामग्रीहरू C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration मा कपी गर्नुहोस् - - यदि तपाईंले कम्पाइल गर्न चाहनुहुन्न भने यो चरण छोड्न सक्नुहुन्छ + - तपाईं कम्पाइल गर्न नचाहनुहुन्छ भने यो चरण छोड्न सक्नुहुन्छ + ```bash @@ -116,14 +129,15 @@ NVIDIA CUDNN 9.4 को lib, bin, include फोल्डरहरू NVIDIA CUD - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) बाट डाउनलोड गर्नुहोस् - - onnxruntime-win-x64-gpu-1.19.2.zip अनजिप गरी यसलाई **ort** नाम दिनुहोस्, र ort फोल्डरलाई onnxruntime-genai मा कपी गर्नुहोस् + - onnxruntime-win-x64-gpu-1.19.2.zip अनजिप गर्नुहोस्, र यसलाई **ort** भनेर नामाकरण गरी ort फोल्डर onnxruntime-genai मा कपी गर्नुहोस् - - Windows Terminal प्रयोग गरी VS 2022 को Developer Command Prompt खोल्नुहोस् र onnxruntime-genai मा जानुहोस् + - Windows Terminal प्रयोग गरी, Developer Command Prompt for VS 2022 मा जानुहोस् र onnxruntime-genai मा जानुहोस् ![RESULT](../../../../../../translated_images/ne/03.b83ce473d5ff9b9b.webp) - - तपाईंको Python वातावरणसँग कम्पाइल गर्नुहोस् + - तपाईंको Python वातावरणसँग यसलाई कम्पाइल गर्नुहोस् + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ NVIDIA CUDNN 9.4 को lib, bin, include फोल्डरहरू NVIDIA CUD ``` -**अस्वीकरण**: -यो दस्तावेज AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरी अनुवाद गरिएको हो। हामी शुद्धताका लागि प्रयासरत छौं, तर कृपया ध्यान दिनुहोस् कि स्वचालित अनुवादमा त्रुटि वा अशुद्धता हुन सक्छ। मूल दस्तावेज यसको मूल भाषामा नै अधिकारिक स्रोत मानिनु पर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलतफहमी वा गलत व्याख्याका लागि हामी जिम्मेवार छैनौं। \ No newline at end of file +--- + + +**अस्वीकरण**: +यो दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरेर अनुवाद गरिएको हो। हामी सही हुन प्रयास गर्छौं, तर कृपया जानकार हुनुस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छन्। मूल दस्तावेज़ यसको मूल भाषामा आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलत बुझाइ वा त्रुटिको लागि हामी जिम्मेवार छैनौं। + \ No newline at end of file diff --git a/translations/ne/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ne/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index afe074bd3..f9cc5ce17 100644 --- a/translations/ne/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ne/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ -# Windows GPU प्रयोग गरेर Phi-3.5-Instruct ONNX सँग Prompt flow समाधान बनाउने तरिका +# Windows GPU प्रयोग गरेर Phi-3.5-Instruct ONNX सँग Prompt flow समाधान सिर्जना गर्ने तरिका -तलको दस्तावेजले Phi-3 मोडेलहरूमा आधारित AI अनुप्रयोग विकासका लागि ONNX (Open Neural Network Exchange) सँग PromptFlow कसरी प्रयोग गर्ने भन्ने उदाहरण प्रस्तुत गर्दछ। +तलको दस्तावेजले Phi-3 मोडेल आधारित AI अनुप्रयोग विकासको लागि ONNX (Open Neural Network Exchange) सँग PromptFlow कसरी प्रयोग गर्ने भन्ने उदाहरण प्रस्तुत गर्दछ। -PromptFlow LLM-आधारित (Large Language Model) AI अनुप्रयोगहरूको विकास चक्रलाई सहज बनाउन डिजाइन गरिएको विकास उपकरणहरूको सेट हो, जसले विचार निर्माणदेखि प्रोटोटाइपिङ, परीक्षण र मूल्यांकनसम्मको प्रक्रिया समेट्छ। +PromptFlow LLM-आधारित (Large Language Model) AI अनुप्रयोगहरूको अन्त-देखि-अन्त विकास चक्रलाई सहज बनाउन डिजाइन गरिएको उपकरणहरूको सेट हो, जसमा विचार उत्पन्न गर्ने, प्रोटोटाइप बनाउने, परीक्षण गर्ने र मूल्याङ्कन सम्मका चरणहरू समावेश छन्। -PromptFlow लाई ONNX सँग एकीकृत गरेर विकासकर्ताहरूले: +PromptFlow लाई ONNX सँग एकीकृत गर्दा, विकासकर्ताहरूले निम्न कार्यहरू गर्न सक्छन्: -- मोडेल प्रदर्शन सुधार गर्न सक्छन्: ONNX को प्रयोगले मोडेल इन्फरेन्स र डिप्लोयमेन्टलाई प्रभावकारी बनाउँछ। -- विकास प्रक्रिया सरल बनाउँछ: PromptFlow ले कार्यप्रवाह व्यवस्थापन र दोहोरिने कामहरू स्वचालित बनाउँछ। -- सहकार्यलाई बढावा दिन्छ: एकीकृत विकास वातावरण प्रदान गरेर टोली सदस्यहरूबीच राम्रो सहकार्य सम्भव बनाउँछ। +- मोडेल प्रदर्शन अनुकूलन गर्नुहोस्: दक्ष मोडेल इन्फरेन्स र परिनियोजनको लागि ONNX प्रयोग गर्नुहोस्। +- विकास सजिलो बनाउनुहोस्: कार्यप्रवाह व्यवस्थापन र दोहोरिने कार्यहरूसमेत स्वचालित गर्न PromptFlow प्रयोग गर्नुहोस्। +- सहकार्य वृद्धि गर्नुहोस्: एकीकृत विकास वातावरण प्रदान गरेर टोली सदस्यहरू बीच राम्रो सहकार्य सहज गर्नुहोस्। -**Prompt flow** LLM-आधारित AI अनुप्रयोगहरूको विकास चक्रलाई विचार निर्माण, प्रोटोटाइपिङ, परीक्षण, मूल्यांकनदेखि उत्पादन डिप्लोयमेन्ट र अनुगमनसम्म सहज बनाउन डिजाइन गरिएको विकास उपकरणहरूको सेट हो। यसले prompt engineering लाई धेरै सजिलो बनाउँछ र उत्पादन गुणस्तरका LLM अनुप्रयोगहरू बनाउन सक्षम बनाउँछ। +**Prompt flow** भनेको LLM-आधारित AI अनुप्रयोगहरूको अन्त-देखि-अन्त विकास चक्रलाई सहज बनाउन डिजाइन गरिएको उपकरणहरूको सेट हो, जसमा विचार उत्पन्न गर्ने, प्रोटोटाइप बनाउने, परीक्षण गर्ने, मूल्याङ्कनदेखि उत्पादन वितरण र अनुगमन सम्मका चरणहरू छन्। यसले prompt engineering लाई धेरै सहज बनाउँछ र तपाईँलाई उत्पादन गुणस्तरका LLM अनुप्रयोगहरू निर्माण गर्न सक्षम पार्दछ। -Prompt flow ले OpenAI, Azure OpenAI Service, र अनुकूलनयोग्य मोडेलहरू (Huggingface, स्थानीय LLM/SLM) सँग जडान गर्न सक्छ। हामी Phi-3.5 को क्वान्टाइज्ड ONNX मोडेललाई स्थानीय अनुप्रयोगहरूमा डिप्लोय गर्न चाहन्छौं। Prompt flow ले हामीलाई हाम्रो व्यवसाय राम्रोसँग योजना बनाउन र Phi-3.5 आधारित स्थानीय समाधानहरू पूरा गर्न मद्दत गर्न सक्छ। यस उदाहरणमा, हामी Windows GPU मा आधारित Prompt flow समाधान पूरा गर्न ONNX Runtime GenAI Library सँग संयोजन गर्नेछौं। +Prompt flow ले OpenAI, Azure OpenAI सेवा, र अनुकूलनयोग्य मोडेलहरू (Huggingface, स्थानीय LLM/SLM) सँग जडान गर्न सक्छ। हामी Phi-3.5 को क्वान्टाइज्ड ONNX मोडेललाई स्थानीय अनुप्रयोगहरूमा परिनियोजित गर्ने अपेक्षा राख्छौं। Prompt flow ले हामीलाई हाम्रो व्यवसाय राम्रोसँग योजना बनाउन र Phi-3.5 आधारित स्थानीय समाधानहरू पूरा गर्न मद्दत पुऱ्याउँछ। यस उदाहरणमा, हामी Windows GPU आधारित Prompt flow समाधान पूरा गर्न ONNX Runtime GenAI लाइब्रेरीलाई संयोजन गर्नेछौं। -## **इन्स्टलेशन** +## **स्थापना** ### **Windows GPU का लागि ONNX Runtime GenAI** -Windows GPU का लागि ONNX Runtime GenAI सेटअप गर्न यो मार्गनिर्देशन पढ्नुहोस् [यहाँ क्लिक गर्नुहोस्](./ORTWindowGPUGuideline.md) +Windows GPU का लागि ONNX Runtime GenAI सेटअप गर्न यो मार्गनिर्देशन पढ्नुहोस् [click here](./ORTWindowGPUGuideline.md) -### **VSCode मा Prompt flow सेटअप गर्ने तरिका** +### **VSCode मा Prompt flow सेटअप गर्नुहोस्** -1. Prompt flow VS Code Extension इन्स्टल गर्नुहोस् +1. Prompt flow VS Code Extension स्थापना गर्नुहोस् ![pfvscode](../../../../../../translated_images/ne/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code Extension इन्स्टल गरेपछि, एक्सटेन्सनमा क्लिक गरी **Installation dependencies** रोज्नुहोस् र यस मार्गनिर्देशन अनुसार आफ्नो वातावरणमा Prompt flow SDK इन्स्टल गर्नुहोस् +2. Prompt flow VS Code Extension स्थापना गरेपछि, एक्सटेन्सनमा क्लिक गरी **Installation dependencies** रोज्नुहोस् र यो मार्गनिर्देशन अनुसार Prompt flow SDK तपाईँको वातावरणमा स्थापना गर्नुहोस् ![pfsetup](../../../../../../translated_images/ne/pfsetup.b46e93096f5a254f.webp) -3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) डाउनलोड गरी VS Code मा खोल्नुहोस् +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) डाउनलोड गरी VS Code मार्फत यो नमूना खोल्नुहोस् ![pfsample](../../../../../../translated_images/ne/pfsample.8d89e70584ffe7c4.webp) @@ -48,11 +48,12 @@ Windows GPU का लागि ONNX Runtime GenAI सेटअप गर्न ![pfv](../../../../../../translated_images/ne/pfv.ba8a81f34b20f603.webp) -यसमा क्लिक गरेपछि, परीक्षण गर्न चलाउनुहोस् +यसमा क्लिक गरेपछि, यसलाई चलाएर परीक्षण गर्नुहोस् ![pfflow](../../../../../../translated_images/ne/pfflow.4e1135a089b1ce1b.webp) -1. थप परिणामहरू जाँच्न टर्मिनलमा ब्याच चलाउन सक्नुहुन्छ +1. थप नतिजा हेर्नको लागि टर्मिनलमा ब्याच चलाउन सक्नुहुन्छ + ```bash @@ -60,9 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -तपाईं आफ्नो डिफल्ट ब्राउजरमा परिणामहरू हेर्न सक्नुहुन्छ +आफ्नो पूर्वनिर्धारित ब्राउजरमा नतिजा हेर्न सक्नुहुन्छ + ![pfresult](../../../../../../translated_images/ne/pfresult.c22c826f8062d7cb.webp) -**अस्वीकरण**: -यो दस्तावेज AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरी अनुवाद गरिएको हो। हामी शुद्धताका लागि प्रयासरत छौं, तर कृपया ध्यान दिनुहोस् कि स्वचालित अनुवादमा त्रुटि वा अशुद्धता हुनसक्छ। मूल दस्तावेज यसको मूल भाषामा नै अधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलतफहमी वा गलत व्याख्याका लागि हामी जिम्मेवार छैनौं। \ No newline at end of file +--- + + +**अस्वीकरण**: +यो दस्तावेज़ AI अनुवाद सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) प्रयोग गरेर अनुवाद गरिएको हो। हामी सही हुन प्रयास गर्छौं, तर कृपया जानकार हुनुस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छन्। मूल दस्तावेज़ यसको मूल भाषामा आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलत बुझाइ वा त्रुटिको लागि हामी जिम्मेवार छैनौं। + \ No newline at end of file diff --git a/translations/nl/.co-op-translator.json b/translations/nl/.co-op-translator.json index 334cfebb5..29aecb897 100644 --- a/translations/nl/.co-op-translator.json +++ b/translations/nl/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:22:47+00:00", + "translation_date": "2026-07-29T17:35:49+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "nl" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:44:54+00:00", + "translation_date": "2026-07-29T17:36:28+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "nl" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:01:39+00:00", + "translation_date": "2026-07-29T17:36:05+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "nl" }, diff --git a/translations/nl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/nl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index d3837ba9e..449840fba 100644 --- a/translations/nl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/nl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,11 +1,69 @@ -## **Hoe Model Builder te gebruiken voor het kwantiseren van Phi-3.5** +# **Quantificeren van Phi-familie met Generative AI-extensies voor onnxruntime** -Model Builder ondersteunt nu ONNX-modelkwantisering voor Phi-3.5 Instruct en Phi-3.5-Vision +## **Wat zijn Generative AI-extensies voor onnxruntime** + +Deze extensies helpen je generatieve AI uit te voeren met ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Het biedt de generatieve AI-lus voor ONNX-modellen, inclusief inferentie met ONNX Runtime, logitsverwerking, zoeken en sampling, en KV-cachebeheer. Ontwikkelaars kunnen een method op hoog niveau generate() aanroepen, of elke iteratie van het model in een lus uitvoeren, waarbij telkens één token wordt gegenereerd en optioneel generatieparameters binnen de lus worden bijgewerkt. Het ondersteunt greedy/beam search en TopP, TopK sampling om tokenreeksen te genereren en ingebouwde logitsverwerking zoals straf voor herhaling. Je kunt ook eenvoudig aangepaste scoring toevoegen. + +Op applicatieniveau kun je Generative AI-extensies voor onnxruntime gebruiken om applicaties te bouwen met C++ / C# / Python. Op modelniveau kun je het gebruiken om fijn-afgestelde modellen samen te voegen en gerelateerd kwantitatief deploy-werk te doen. + + +## **Quantificeren van Phi-3.5 met Generative AI-extensies voor onnxruntime** + +### **Ondersteunde Modellen** + +Generative AI-extensies voor onnxruntime ondersteunen kwantisatieconversie van Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder in Generative AI-extensies voor onnxruntime** + +De model builder versnelt het creëren van geoptimaliseerde en gekwantiseerde ONNX-modellen die draaien met de ONNX Runtime generate() API aanzienlijk. + +Via Model Builder kun je het model kwantiseren naar INT4, INT8, FP16, FP32, en verschillende hardwareversnellingsmethodes combineren zoals CPU, CUDA, DirectML, Mobile, enzovoort. + +Om Model Builder te gebruiken moet je installeren + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Na installatie kun je het Model Builder-script vanuit de terminal uitvoeren om model formaat- en kwantisatieconversies te doen. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Begrijp de relevante parameters + +1. **model_name** Dit is het model op Hugging Face, zoals microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. Het kan ook het pad zijn waar je het model opslaat. + +2. **path_to_output_folder** Pad waar gekwantiseerde conversie wordt opgeslagen + +3. **execution_provider** Verschillende hardwareversnellingsondersteuning, zoals cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** We downloaden het model van Hugging Face en cachen het lokaal + + + + +***Let op：*** + +## **Hoe Model Builder te gebruiken voor kwantisatie van Phi-3.5** + +Model Builder ondersteunt nu ONNX model kwantisatie voor Phi-3.5 Instruct en Phi-3.5-Vision ### **Phi-3.5-Instruct** + **CPU-versnelde conversie van gekwantiseerde INT4** + ```bash python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cpu -c ./Phi-3.5-mini-instruct @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Stel de omgeving in de terminal in +1. Stel de omgeving in in de terminal ```bash @@ -40,7 +101,7 @@ cd models ``` -2. Download microsoft/Phi-3.5-vision-instruct in de map models +2. Download microsoft/Phi-3.5-vision-instruct naar de models-map [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Download deze bestanden naar jouw Phi-3.5-vision-instruct map @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Download dit bestand naar de map models + +4. Download dit bestand naar de models-map [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Ga naar de terminal - Converteer ONNX-ondersteuning met FP32 + Conversie ONNX ondersteuning met FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Opmerking:** + +### **Let op：** 1. Model Builder ondersteunt momenteel de conversie van Phi-3.5-Instruct en Phi-3.5-Vision, maar niet Phi-3.5-MoE -2. Om het gekwantiseerde ONNX-model te gebruiken, kun je dit doen via de Generative AI extensions voor onnxruntime SDK +2. Om het gekwantiseerde ONNX-model te gebruiken, kun je het via Generative AI-extensies voor onnxruntime SDK gebruiken + +3. We moeten meer verantwoordelijk AI overwegen, dus na de kwantisatie van het model wordt aanbevolen om meer effectieve resultaat testen uit te voeren + +4. Door het CPU INT4-model te kwantiseren, kunnen we het implementeren op Edge Devices, wat betere toepassingssituaties biedt, daarom hebben we Phi-3.5-Instruct rond INT4 voltooid -3. We moeten meer verantwoordelijke AI overwegen, dus na de modelkwantisering wordt aanbevolen om grondiger resultaattesten uit te voeren -4. Door het CPU INT4-model te kwantiseren, kunnen we het op Edge Devices inzetten, wat betere toepassingsscenario’s biedt. Daarom hebben we Phi-3.5-Instruct rond INT4 afgerond +## **Hulpbronnen** -## **Bronnen** +1. Leer meer over Generative AI-extensies voor onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. Leer meer over Generative AI extensions voor onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. Generative AI-extensies voor onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions voor onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Disclaimer**: -Dit document is vertaald met behulp van de AI-vertalingsdienst [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, dient u er rekening mee te houden dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet als de gezaghebbende bron worden beschouwd. Voor cruciale informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling. \ No newline at end of file + +**Disclaimer**: +Dit document is vertaald met behulp van de AI vertaaldienst [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, dient u er rekening mee te houden dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet worden beschouwd als de gezaghebbende bron. Voor kritieke informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling. + \ No newline at end of file diff --git a/translations/nl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/nl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 05c7c06aa..4b325bf4b 100644 --- a/translations/nl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/nl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Richtlijn voor OnnxRuntime GenAI Windows GPU** -Deze richtlijn geeft stappen voor het opzetten en gebruiken van ONNX Runtime (ORT) met GPU's op Windows. Het is bedoeld om je te helpen GPU-versnelling voor je modellen te benutten, wat de prestaties en efficiëntie verbetert. +Deze richtlijn biedt stappen voor het opzetten en gebruiken van de ONNX Runtime (ORT) met GPU's op Windows. Het is ontworpen om u te helpen GPU-versnelling te benutten voor uw modellen, waardoor de prestaties en efficiëntie verbeterd worden. -Het document geeft advies over: +Het document geeft richtlijnen over: -- Omgevingsinstelling: Instructies voor het installeren van de benodigde afhankelijkheden zoals CUDA, cuDNN en ONNX Runtime. -- Configuratie: Hoe je de omgeving en ONNX Runtime configureert om GPU-bronnen effectief te gebruiken. -- Optimalisatietips: Advies over het fijn afstellen van je GPU-instellingen voor optimale prestaties. +- Omgeving Setup: Instructies voor het installeren van de benodigde afhankelijkheden zoals CUDA, cuDNN en ONNX Runtime. +- Configuratie: Hoe u de omgeving en ONNX Runtime configureert om GPU-bronnen effectief te gebruiken. +- Optimalisatietips: Advies over hoe u uw GPU-instellingen kunt afstemmen voor optimale prestaties. ### **1. Python 3.10.x /3.11.8** - ***Note*** Aanbevolen wordt om [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) te gebruiken als je Python-omgeving +***Opmerking*** Aanbevolen wordt om [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) als uw Python-omgeving te gebruiken ```bash @@ -20,10 +20,11 @@ Het document geeft advies over: ``` - ***Reminder*** Als je een Python ONNX-bibliotheek hebt geïnstalleerd, verwijder deze dan eerst +***Herinnering*** Als u een Python ONNX-bibliotheek hebt geïnstalleerd, verwijder deze dan eerst ### **2. Installeer CMake met winget** + ```bash winget install -e --id Kitware.CMake @@ -32,10 +33,11 @@ Het document geeft advies over: ### **3. Installeer Visual Studio 2022 - Desktop Development met C++** - ***Note*** Als je niet wilt compileren, kun je deze stap overslaan +***Opmerking*** Als u niet wilt compileren kunt u deze stap overslaan ![CPP](../../../../../../translated_images/nl/01.42f52a2b2aedff02.webp) + ### **4. Installeer NVIDIA Driver** 1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ Het document geeft advies over: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Gebruik de standaardinstellingen tijdens de installatie +***Herinnering*** Gebruik de standaardinstellingen tijdens het installatieproces ### **5. Stel NVIDIA-omgeving in** -Kopieer NVIDIA CUDNN 9.4 lib, bin, include naar NVIDIA CUDA 12.4 lib, bin, include +Kopieer NVIDIA CUDNN 9.4 lib,bin,include naar NVIDIA CUDA 12.4 lib,bin,include -- kopieer *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* bestanden naar *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- kopieer *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* bestanden naar *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- kopieer *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* bestanden naar *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- kopieer *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* bestanden naar *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- kopieer *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* bestanden naar *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopieer *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* bestanden naar *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Download Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ Kopieer NVIDIA CUDNN 9.4 lib, bin, include naar NVIDIA CUDA 12.4 lib, bin, inclu ``` -### **7. Uitvoeren van InferencePhi35Instruct.ipynb** +### **7. Uitvoeren InferencePhi35Instruct.ipynb** + +Open [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) en voer uit - Open [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) en voer uit ![RESULT](../../../../../../translated_images/nl/02.b9b06996cf7255d5.webp) + ### **8. Compileer ORT GenAI GPU** - ***Note*** + +***Opmerking*** - 1. Verwijder eerst alle onnx, onnxruntime en onnxruntime-genai pakketten +1. Verwijder eerst alle onnx, onnxruntime en onnxruntime-genai pakketten + ```bash pip list ``` - Verwijder daarna alle onnxruntime bibliotheken, bijvoorbeeld: +Verwijder vervolgens alle onnxruntime bibliotheken, bijvoorbeeld + ```bash @@ -100,13 +109,17 @@ Kopieer NVIDIA CUDNN 9.4 lib, bin, include naar NVIDIA CUDA 12.4 lib, bin, inclu ``` - 2. Controleer Visual Studio Extension ondersteuning +2. Controleer of Visual Studio Extensie wordt ondersteund - Controleer in C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras of de map C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration aanwezig is. +Controleer C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras om te bevestigen dat C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration aanwezig is. - Als deze niet gevonden wordt, controleer dan andere CUDA toolkit driver mappen en kopieer de map visual_studio_integration en de inhoud naar C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration +Als dit niet gevonden wordt, controleer dan andere CUDA toolkit driver mappen en kopieer de map visual_studio_integration en inhoud naar C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + +- Als u niet wilt compileren kunt u deze stap overslaan - - Als je niet wilt compileren, kun je deze stap overslaan ```bash @@ -114,16 +127,17 @@ Kopieer NVIDIA CUDNN 9.4 lib, bin, include naar NVIDIA CUDA 12.4 lib, bin, inclu ``` - - Download [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) +- Download [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Pak onnxruntime-win-x64-gpu-1.19.2.zip uit, hernoem de map naar **ort** en kopieer deze naar onnxruntime-genai +- Pak onnxruntime-win-x64-gpu-1.19.2.zip uit en hernoem het naar **ort**, kopieer de map ort naar onnxruntime-genai - - Gebruik Windows Terminal, open Developer Command Prompt voor VS 2022 en ga naar onnxruntime-genai +- Gebruik Windows Terminal, ga naar Developer Command Prompt voor VS 2022 en ga naar onnxruntime-genai ![RESULT](../../../../../../translated_images/nl/03.b83ce473d5ff9b9b.webp) - - Compileer het met je Python-omgeving +- Compileer het met uw python-omgeving + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopieer NVIDIA CUDNN 9.4 lib, bin, include naar NVIDIA CUDA 12.4 lib, bin, inclu ``` -**Disclaimer**: -Dit document is vertaald met behulp van de AI-vertalingsdienst [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, dient u er rekening mee te houden dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet als de gezaghebbende bron worden beschouwd. Voor cruciale informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling. \ No newline at end of file +--- + + +**Disclaimer**: +Dit document is vertaald met behulp van de AI vertaaldienst [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, dient u er rekening mee te houden dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet worden beschouwd als de gezaghebbende bron. Voor kritieke informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling. + \ No newline at end of file diff --git a/translations/nl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/nl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index ec2c3f429..21832b5ad 100644 --- a/translations/nl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/nl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,18 +1,18 @@ -# Gebruik van Windows GPU om Prompt flow-oplossing te maken met Phi-3.5-Instruct ONNX +# Windows GPU gebruiken om Prompt flow-oplossing te maken met Phi-3.5-Instruct ONNX -Het volgende document is een voorbeeld van hoe je PromptFlow kunt gebruiken met ONNX (Open Neural Network Exchange) voor het ontwikkelen van AI-toepassingen gebaseerd op Phi-3 modellen. +Het volgende document is een voorbeeld van hoe PromptFlow te gebruiken met ONNX (Open Neural Network Exchange) voor het ontwikkelen van AI-toepassingen gebaseerd op Phi-3 modellen. -PromptFlow is een verzameling ontwikkeltools die ontworpen zijn om de volledige ontwikkelingscyclus van LLM-gebaseerde (Large Language Model) AI-toepassingen te stroomlijnen, van ideeëngeneratie en prototyping tot testen en evaluatie. +PromptFlow is een suite van ontwikkeltools ontworpen om de end-to-end ontwikkelingscyclus van LLM-gebaseerde (Large Language Model) AI-toepassingen te stroomlijnen, van ideeënvorming en prototyping tot testen en evaluatie. Door PromptFlow te integreren met ONNX kunnen ontwikkelaars: -- Modelprestaties optimaliseren: Maak gebruik van ONNX voor efficiënte modelinference en implementatie. -- Ontwikkeling vereenvoudigen: Gebruik PromptFlow om de workflow te beheren en repetitieve taken te automatiseren. -- Samenwerking verbeteren: Faciliteer betere samenwerking tussen teamleden door een uniforme ontwikkelomgeving te bieden. +- Modelprestaties Optimaliseren: Gebruik ONNX voor efficiënte modelinference en implementatie. +- Ontwikkeling Vereenvoudigen: Gebruik PromptFlow om de workflow te beheren en repetitieve taken te automatiseren. +- Samenwerking Verbeteren: Faciliteer betere samenwerking tussen teamleden door een uniforme ontwikkelomgeving te bieden. -**Prompt flow** is een verzameling ontwikkeltools die ontworpen zijn om de volledige ontwikkelingscyclus van LLM-gebaseerde AI-toepassingen te stroomlijnen, van ideeëngeneratie, prototyping, testen, evaluatie tot productie-implementatie en monitoring. Het maakt prompt engineering veel eenvoudiger en stelt je in staat om LLM-apps te bouwen met productiekwaliteit. +**Prompt flow** is een suite van ontwikkeltools ontworpen om de end-to-end ontwikkelingscyclus van LLM-gebaseerde AI-toepassingen te stroomlijnen, van ideeënvorming, prototyping, testen, evaluatie tot productie-implementatie en monitoring. Het maakt prompt engineering veel eenvoudiger en stelt je in staat om LLM-apps met productiekwaliteit te bouwen. -Prompt flow kan verbinding maken met OpenAI, Azure OpenAI Service en aanpasbare modellen (Huggingface, lokale LLM/SLM). We hopen het gequantiseerde ONNX-model van Phi-3.5 te implementeren in lokale toepassingen. Prompt flow kan ons helpen onze business beter te plannen en lokale oplossingen te voltooien gebaseerd op Phi-3.5. In dit voorbeeld combineren we de ONNX Runtime GenAI Library om de Prompt flow-oplossing te voltooien op basis van Windows GPU. +Prompt flow kan verbinding maken met OpenAI, Azure OpenAI Service en aanpasbare modellen (Huggingface, lokale LLM/SLM). We hopen het gekwantiseerde ONNX-model van Phi-3.5 te implementeren voor lokale toepassingen. Prompt flow kan ons helpen onze bedrijfsvoering beter te plannen en lokale oplossingen gebaseerd op Phi-3.5 te voltooien. In dit voorbeeld combineren we ONNX Runtime GenAI Bibliotheek om de Prompt flow-oplossing op basis van Windows GPU te voltooien. ## **Installatie** @@ -22,15 +22,15 @@ Lees deze richtlijn om ONNX Runtime GenAI voor Windows GPU in te stellen [klik h ### **Prompt flow instellen in VSCode** -1. Installeer de Prompt flow VS Code-extensie +1. Installeer Prompt flow VS Code-extensie ![pfvscode](../../../../../../translated_images/nl/pfvscode.eff93dfc66a42cbe.webp) -2. Na het installeren van de Prompt flow VS Code-extensie, klik op de extensie en kies **Installation dependencies** volg deze richtlijn om de Prompt flow SDK in je omgeving te installeren +2. Na het installeren van de Prompt flow VS Code-extensie, klik op de extensie en kies **Installatie afhankelijkheden** volg deze richtlijn om Prompt flow SDK in je omgeving te installeren ![pfsetup](../../../../../../translated_images/nl/pfsetup.b46e93096f5a254f.webp) -3. Download [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) en open deze sample met VS Code +3. Download [Voorbeeldcode](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) en open dit voorbeeld met VS Code ![pfsample](../../../../../../translated_images/nl/pfsample.8d89e70584ffe7c4.webp) @@ -38,17 +38,17 @@ Lees deze richtlijn om ONNX Runtime GenAI voor Windows GPU in te stellen [klik h ![pfdag](../../../../../../translated_images/nl/pfdag.264a77f7366458ff.webp) - Open **chat_phi3_ort.py** om de locatie van je Phi-3.5-instruct ONNX-model aan te passen + Open **chat_phi3_ort.py** om je Phi-3.5-instruct ONNX model locatie te wijzigen ![pfphi](../../../../../../translated_images/nl/pfphi.72da81d74244b45f.webp) 5. Voer je prompt flow uit om te testen -Open **flow.dag.yaml** en klik op visual editor +Open **flow.dag.yaml** klik op de visuele editor ![pfv](../../../../../../translated_images/nl/pfv.ba8a81f34b20f603.webp) -Klik hierna op uitvoeren om te testen +na het klikken hierop, voer het uit om te testen ![pfflow](../../../../../../translated_images/nl/pfflow.4e1135a089b1ce1b.webp) @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Je kunt de resultaten bekijken in je standaardbrowser +Je kunt resultaten bekijken in je standaard browser ![pfresult](../../../../../../translated_images/nl/pfresult.c22c826f8062d7cb.webp) -**Disclaimer**: -Dit document is vertaald met behulp van de AI-vertalingsdienst [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, dient u er rekening mee te houden dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet als de gezaghebbende bron worden beschouwd. Voor cruciale informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling. \ No newline at end of file +--- + + +**Disclaimer**: +Dit document is vertaald met behulp van de AI vertaaldienst [Co-op Translator](https://github.com/Azure/co-op-translator). Hoewel we streven naar nauwkeurigheid, dient u er rekening mee te houden dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet worden beschouwd als de gezaghebbende bron. Voor kritieke informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling. + \ No newline at end of file diff --git a/translations/no/.co-op-translator.json b/translations/no/.co-op-translator.json index 027e5db2c..f5cd5fcb4 100644 --- a/translations/no/.co-op-translator.json +++ b/translations/no/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:22:02+00:00", + "translation_date": "2026-07-29T16:44:02+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "no" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:44:28+00:00", + "translation_date": "2026-07-29T16:44:38+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "no" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:01:18+00:00", + "translation_date": "2026-07-29T16:44:16+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "no" }, diff --git a/translations/no/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/no/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 9343afebd..93feb821e 100644 --- a/translations/no/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/no/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Hvordan bruke Model Builder til å kvantisere Phi-3.5** +# **Kvantifisering av Phi-familien ved bruk av Generative AI-utvidelser for onnxruntime** -Model Builder støtter nå ONNX-modellkvantisering for Phi-3.5 Instruct og Phi-3.5-Vision +## **Hva er Generative AI-utvidelser for onnxruntime** + +Disse utvidelsene hjelper deg med å kjøre generativ AI med ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). De tilbyr den generative AI-løkken for ONNX-modeller, inkludert inferens med ONNX Runtime, logitsbehandling, søk og sampling, og KV cache-administrasjon. Utviklere kan kalle en høynivå generate() metode, eller kjøre hver iterasjon av modellen i en løkke, som genererer ett token om gangen, og valgfritt oppdatere generasjonsparametere inne i løkken. Den støtter greedy/beam search og TopP, TopK sampling for å generere tokensekvenser og innebygd logitsbehandling som repeteringsstraffer. Du kan også enkelt legge til egendefinert poengsetting. + +På applikasjonsnivå kan du bruke Generative AI-utvidelser for onnxruntime til å bygge applikasjoner ved hjelp av C++/ C# / Python. På modellenivå kan du bruke det til å slå sammen finjusterte modeller og utføre relatert kvantitativ distribusjonsarbeid. + + +## **Kvantifisering av Phi-3.5 med Generative AI-utvidelser for onnxruntime** + +### **Støttede modeller** + +Generative AI-utvidelser for onnxruntime støtter kvantiseringskonvertering av Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Modellbygger i Generative AI-utvidelser for onnxruntime** + +Modellbyggeren akselererer i stor grad opprettelsen av optimaliserte og kvantiserte ONNX-modeller som kjører med ONNX Runtime generate() API. + +Gjennom Modellbygger kan du kvantisere modellen til INT4, INT8, FP16, FP32, og kombinere forskjellige maskinvareakselerasjonsmetoder som CPU, CUDA, DirectML, Mobile, osv. + +For å bruke Modellbygger må du installere + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Etter installasjon kan du kjøre Modellbygger-skriptet fra terminalen for å utføre modellformat- og kvantiseringskonvertering. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Forstå relevante parametere + +1. **model_name** Dette er modellen på Hugging Face, som microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, osv. Det kan også være banen der du lagrer modellen + +2. **path_to_output_folder** Lagreplass for kvantisert konvertering + +3. **execution_provider** Støtte for ulik maskinvareakselerasjon, som cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Vi laster ned modellen fra Hugging Face og cacher den lokalt + + + + +***Merk:*** + +## **Hvordan bruke Modellbygger for å kvantisere Phi-3.5** + +Modellbygger støtter nå ONNX-modellkvantisering for Phi-3.5 Instruct og Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU-akselerert konvertering til kvantisert INT4** + +**CPU-akselerert konvertering av kvantisert INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA-akselerert konvertering til kvantisert INT4** +**CUDA-akselerert konvertering av kvantisert INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Sett opp miljø i terminalen +1. Sett opp miljøet i terminalen ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Last ned microsoft/Phi-3.5-vision-instruct i models-mappen +2. Last ned microsoft/Phi-3.5-vision-instruct i models-mappen [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Last ned disse filene til din Phi-3.5-vision-instruct-mappe +3. Vennligst last ned disse filene til din Phi-3.5-vision-instruct-mappe - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Last ned denne filen til models-mappen + +4. Last ned denne filen til models-mappen [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Gå til terminalen +5. Gå til terminal Konverter ONNX-støtte med FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` + ### **Merk:** -1. Model Builder støtter for øyeblikket konvertering av Phi-3.5-Instruct og Phi-3.5-Vision, men ikke Phi-3.5-MoE +1. Modellbygger støtter for øyeblikket konvertering for Phi-3.5-Instruct og Phi-3.5-Vision, men ikke Phi-3.5-MoE -2. For å bruke ONNX sin kvantiserte modell, kan du bruke den gjennom Generative AI extensions for onnxruntime SDK +2. For å bruke ONNX sin kvantiserte modell, kan du bruke den gjennom Generative AI-utvidelser for onnxruntime SDK -3. Vi må ta mer ansvarlig AI i betraktning, så etter modellkvantisering anbefales det å gjennomføre grundigere testing av resultatene +3. Vi må ta mer ansvarlig AI i betraktning, så etter modellkvantiseringskonverteringen anbefales det å utføre mer effektive resultatstester + +4. Ved å kvantisere CPU INT4-modellen kan vi distribuere den til Edge-enheter, som har bedre bruksområder, så vi har fullført Phi-3.5-Instruct rundt INT 4 -4. Ved å kvantisere CPU INT4-modellen kan vi distribuere den til Edge-enheter, som gir bedre bruksområder, derfor har vi fullført Phi-3.5-Instruct rundt INT4 ## **Ressurser** -1. Lær mer om Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Lær mer om Generative AI-utvidelser for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI-utvidelser for onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Ansvarsfraskrivelse**: -Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi streber etter nøyaktighet, vennligst vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det opprinnelige dokumentet på originalspråket skal anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen. \ No newline at end of file + +**Ansvarsfraskrivelse**: +Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi streber etter nøyaktighet, vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det opprinnelige dokumentet på originalspråket skal betraktes som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen. + \ No newline at end of file diff --git a/translations/no/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/no/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 9faec037c..1c86d1eaf 100644 --- a/translations/no/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/no/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Retningslinjer for OnnxRuntime GenAI Windows GPU** +# **Retningslinje for OnnxRuntime GenAI Windows GPU** -Denne retningslinjen gir trinn for å sette opp og bruke ONNX Runtime (ORT) med GPUer på Windows. Den er laget for å hjelpe deg med å utnytte GPU-akselerasjon for modellene dine, og dermed forbedre ytelse og effektivitet. +Denne retningslinjen gir trinn for å sette opp og bruke ONNX Runtime (ORT) med GPU-er på Windows. Den er laget for å hjelpe deg med å utnytte GPU-akselerasjon for modellene dine, og forbedre ytelse og effektivitet. Dokumentet gir veiledning om: - Miljøoppsett: Instruksjoner for installasjon av nødvendige avhengigheter som CUDA, cuDNN og ONNX Runtime. -- Konfigurasjon: Hvordan konfigurere miljøet og ONNX Runtime for effektiv bruk av GPU-ressurser. -- Optimaliseringstips: Råd om hvordan du finjusterer GPU-innstillingene for best mulig ytelse. +- Konfigurasjon: Hvordan konfigurere miljøet og ONNX Runtime for å effektivt bruke GPU-ressurser. +- Optimaliseringstips: Råd om hvordan du finjusterer GPU-innstillingene for optimal ytelse. ### **1. Python 3.10.x /3.11.8** - ***Note*** Vi anbefaler å bruke [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) som ditt Python-miljø + ***Merk*** Anbefaler å bruke [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) som ditt Python-miljø ```bash @@ -20,10 +20,11 @@ Dokumentet gir veiledning om: ``` - ***Reminder*** Hvis du har installert noen Python ONNX-biblioteker, vennligst avinstaller dem + ***Påminnelse*** Hvis du har installert noen Python ONNX-biblioteker, vennligst avinstaller dem ### **2. Installer CMake med winget** + ```bash winget install -e --id Kitware.CMake @@ -32,32 +33,35 @@ Dokumentet gir veiledning om: ### **3. Installer Visual Studio 2022 - Desktop Development med C++** - ***Note*** Hvis du ikke ønsker å kompilere, kan du hoppe over dette steget + ***Merk*** Hvis du ikke ønsker å kompilere, kan du hoppe over dette trinnet ![CPP](../../../../../../translated_images/no/01.42f52a2b2aedff02.webp) + ### **4. Installer NVIDIA-driver** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU-driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Vennligst bruk standardinnstillinger under installasjonsprosessen +***Påminnelse*** Vennligst bruk standardinnstillinger under installasjonsflyten ### **5. Sett NVIDIA-miljø** Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include -- kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* - kopier *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* filer til *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* + ### **6. Last ned Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include ``` -### **7. Kjør InferencePhi35Instruct.ipynb** +### **7. Kjøre InferencePhi35Instruct.ipynb** + + Åpne [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) og kjør - Åpne [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) og kjør den ![RESULT](../../../../../../translated_images/no/02.b9b06996cf7255d5.webp) + ### **8. Kompiler ORT GenAI GPU** - ***Note*** + + ***Merk*** 1. Vennligst avinstaller alt relatert til onnx, onnxruntime og onnxruntime-genai først + ```bash pip list ``` - Deretter avinstaller alle onnxruntime-biblioteker, for eksempel + Deretter avinstaller alle onnxruntime-biblioteker, dvs. + ```bash @@ -100,13 +109,17 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include ``` - 2. Sjekk støtte for Visual Studio Extension + 2. Sjekk støtte for Visual Studio Extension - Sjekk i C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras for å sikre at C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration finnes. + Sjekk C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras for å sikre at C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration finnes. - Hvis ikke, sjekk andre CUDA toolkit-driver-mapper og kopier mappen visual_studio_integration og innholdet til C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Hvis ikke funnet, sjekk andre CUDA toolkit-driver-mapper og kopier mappen visual_studio_integration og innhold til C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Hvis du ikke ønsker å kompilere, kan du hoppe over dette trinnet - - Hvis du ikke ønsker å kompilere, kan du hoppe over dette steget ```bash @@ -116,14 +129,15 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include - Last ned [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Pakk ut onnxruntime-win-x64-gpu-1.19.2.zip, gi mappen navnet **ort**, og kopier ort-mappen til onnxruntime-genai + - Pakk ut onnxruntime-win-x64-gpu-1.19.2.zip, gi nytt navn til **ort**, kopier ort-mappen til onnxruntime-genai - - Bruk Windows Terminal, gå til Developer Command Prompt for VS 2022 og naviger til onnxruntime-genai + - Bruk Windows Terminal, gå til Developer Command Prompt for VS 2022 og naviger til onnxruntime-genai ![RESULT](../../../../../../translated_images/no/03.b83ce473d5ff9b9b.webp) - - Kompiler med ditt Python-miljø + - Kompiler det med ditt Python-miljø + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopier NVIDIA CUDNN 9.4 lib, bin, include til NVIDIA CUDA 12.4 lib, bin, include ``` -**Ansvarsfraskrivelse**: -Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi streber etter nøyaktighet, vennligst vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det opprinnelige dokumentet på originalspråket skal anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen. \ No newline at end of file +--- + + +**Ansvarsfraskrivelse**: +Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi streber etter nøyaktighet, vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det opprinnelige dokumentet på originalspråket skal betraktes som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen. + \ No newline at end of file diff --git a/translations/no/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/no/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index dfb8abeaa..f391980e3 100644 --- a/translations/no/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/no/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,18 +1,18 @@ -# Bruke Windows GPU for å lage Prompt flow-løsning med Phi-3.5-Instruct ONNX +# Bruke Windows GPU for å lage Prompt flow-løsning med Phi-3.5-Instruct ONNX -Følgende dokument er et eksempel på hvordan man bruker PromptFlow med ONNX (Open Neural Network Exchange) for å utvikle AI-applikasjoner basert på Phi-3-modeller. +Følgende dokument er et eksempel på hvordan man bruker PromptFlow med ONNX (Open Neural Network Exchange) for å utvikle AI-applikasjoner basert på Phi-3 modeller. -PromptFlow er en samling utviklingsverktøy designet for å effektivisere hele utviklingssyklusen for LLM-baserte (Large Language Model) AI-applikasjoner, fra idéutvikling og prototyping til testing og evaluering. +PromptFlow er en verktøypakke designet for å effektivisere hele utviklingssyklusen for AI-applikasjoner basert på LLM (Large Language Model), fra idéutvikling og prototyping til testing og evaluering. Ved å integrere PromptFlow med ONNX kan utviklere: -- Optimalisere modellens ytelse: Utnytt ONNX for effektiv modellinferenz og distribusjon. -- Forenkle utviklingen: Bruk PromptFlow til å administrere arbeidsflyten og automatisere repeterende oppgaver. -- Forbedre samarbeid: Legg til rette for bedre samarbeid mellom teammedlemmer ved å tilby et samlet utviklingsmiljø. +- Optimalisere modellens ytelse: Utnytte ONNX for effektiv modell-inferens og distribusjon. +- Forenkle utviklingen: Bruke PromptFlow for å administrere arbeidsflyten og automatisere repeterende oppgaver. +- Forbedre samarbeid: Legge til rette for bedre samarbeid mellom teammedlemmer ved å tilby et samlet utviklingsmiljø. -**Prompt flow** er en samling utviklingsverktøy som er laget for å effektivisere hele utviklingssyklusen for LLM-baserte AI-applikasjoner, fra idéutvikling, prototyping, testing, evaluering til produksjonsdistribusjon og overvåking. Det gjør prompt engineering mye enklere og gjør det mulig å bygge LLM-apper med produksjonskvalitet. +**Prompt flow** er en verktøypakke designet for å effektivisere hele utviklingssyklusen for LLM-baserte AI-applikasjoner, fra idé, prototyping, testing, evaluering til produksjonsdistribusjon og overvåking. Det gjør promptengineering mye enklere og lar deg bygge LLM-apper med produksjonskvalitet. -Prompt flow kan koble til OpenAI, Azure OpenAI Service og tilpassbare modeller (Huggingface, lokale LLM/SLM). Vi håper å distribuere Phi-3.5 sin kvantiserte ONNX-modell til lokale applikasjoner. Prompt flow kan hjelpe oss med å planlegge virksomheten bedre og fullføre lokale løsninger basert på Phi-3.5. I dette eksemplet vil vi kombinere ONNX Runtime GenAI Library for å fullføre Prompt flow-løsningen basert på Windows GPU. +Prompt flow kan kobles til OpenAI, Azure OpenAI Service, og tilpassbare modeller (Huggingface, lokal LLM/SLM). Vi håper å distribuere Phi-3.5 sin kvantiserte ONNX-modell til lokale applikasjoner. Prompt flow kan hjelpe oss å planlegge virksomheten bedre og fullføre lokale løsninger basert på Phi-3.5. I dette eksemplet vil vi kombinere ONNX Runtime GenAI Library for å fullføre Prompt flow-løsningen basert på Windows GPU. ## **Installasjon** @@ -26,11 +26,11 @@ Les denne veiledningen for å sette opp ONNX Runtime GenAI for Windows GPU [klik ![pfvscode](../../../../../../translated_images/no/pfvscode.eff93dfc66a42cbe.webp) -2. Etter å ha installert Prompt flow VS Code Extension, klikk på utvidelsen og velg **Installation dependencies**. Følg denne veiledningen for å installere Prompt flow SDK i ditt miljø. +2. Etter å ha installert Prompt flow VS Code Extension, klikk på utvidelsen, og velg **Installation dependencies** følg denne veiledningen for å installere Prompt flow SDK i ditt miljø ![pfsetup](../../../../../../translated_images/no/pfsetup.b46e93096f5a254f.webp) -3. Last ned [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) og åpne dette eksempelet i VS Code +3. Last ned [Eksempelkode](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) og åpne dette eksempelet i VS Code ![pfsample](../../../../../../translated_images/no/pfsample.8d89e70584ffe7c4.webp) @@ -38,7 +38,7 @@ Les denne veiledningen for å sette opp ONNX Runtime GenAI for Windows GPU [klik ![pfdag](../../../../../../translated_images/no/pfdag.264a77f7366458ff.webp) - Åpne **chat_phi3_ort.py** for å endre plasseringen av din Phi-3.5-instruct ONNX-modell + Åpne **chat_phi3_ort.py** for å endre plasseringen til din Phi-3.5-instruct ONNX-modell ![pfphi](../../../../../../translated_images/no/pfphi.72da81d74244b45f.webp) @@ -48,7 +48,7 @@ Les denne veiledningen for å sette opp ONNX Runtime GenAI for Windows GPU [klik ![pfv](../../../../../../translated_images/no/pfv.ba8a81f34b20f603.webp) -etter å ha klikket på dette, kjør den for å teste +etter å ha klikket dette, kjør det for å teste ![pfflow](../../../../../../translated_images/no/pfflow.4e1135a089b1ce1b.webp) @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Du kan sjekke resultatene i din standard nettleser +Du kan sjekke resultater i din standard nettleser ![pfresult](../../../../../../translated_images/no/pfresult.c22c826f8062d7cb.webp) -**Ansvarsfraskrivelse**: -Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi streber etter nøyaktighet, vennligst vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det opprinnelige dokumentet på originalspråket skal anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen. \ No newline at end of file +--- + + +**Ansvarsfraskrivelse**: +Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten [Co-op Translator](https://github.com/Azure/co-op-translator). Selv om vi streber etter nøyaktighet, vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det opprinnelige dokumentet på originalspråket skal betraktes som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen. + \ No newline at end of file diff --git a/translations/pa/.co-op-translator.json b/translations/pa/.co-op-translator.json index 92b58e6aa..b505bb2f1 100644 --- a/translations/pa/.co-op-translator.json +++ b/translations/pa/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:18:58+00:00", + "translation_date": "2026-07-29T18:00:57+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "pa" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:59:24+00:00", + "translation_date": "2026-07-29T18:01:21+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "pa" }, diff --git a/translations/pa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/pa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 2638f0871..99bdc6457 100644 --- a/translations/pa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/pa/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **ਮਾਡਲ ਬਿਲਡਰ ਨਾਲ Phi-3.5 ਨੂੰ ਕਿਵੇਂ ਕਵਾਂਟਾਈਜ਼ ਕਰਨਾ ਹੈ** +# **Generative AI एक्सटेंਸ਼ਨਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ onnxruntime ਲਈ Phi ਫੈਮਿਲੀ ਦਾ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ** -ਮਾਡਲ ਬਿਲਡਰ ਹੁਣ Phi-3.5 Instruct ਅਤੇ Phi-3.5-Vision ਲਈ ONNX ਮਾਡਲ ਕਵਾਂਟਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਸਹਿਯੋਗ ਦਿੰਦਾ ਹੈ। +## **onnxruntime ਲਈ Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ ਕੀ ਹਨ** + +ਇਹ ਐਕਸਟੈਂਸ਼ਨਜ਼ ਤੁਹਾਨੂੰ ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) ਨਾਲ Generative AI ਚਲਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ। ਇਹ ONNX ਮਾਡਲਾਂ ਲਈ generative AI ਲੂਪ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਜਿਸ ਵਿੱਚ ONNX Runtime ਨਾਲ ਇਨਫਰੰਸ, ਲੋਗਿਟ ਪ੍ਰੋਸੈਸਿੰਗ, ਖੋਜ ਅਤੇ ਸੈਂਪਲਿੰਗ, ਅਤੇ KV ਕੈਸ਼ ਪ੍ਰਬੰਧਨ ਸ਼ਾਮਲ ਹੈ। ਡਿਵੈਲਪਰ ਇੱਕ ਹਾਈ-ਲੇਵਲ generate() ਮੈਥਡ ਨੂੰ ਕਾਲ ਕਰ ਸਕਦੇ ਹਨ, ਜਾਂ ਮਾਡਲ ਦੇ ਹਰ ਇਟਰੈਸ਼ਨ ਨੂੰ ਲੂਪ ਵਿੱਚ ਚਲਾ ਕੇ ਇਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਟੋਕਨ ਜਨਰੇਟ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ ਵਿਕਲਪਕ ਤੌਰ 'ਤੇ ਲੂਪ ਦੇ ਅੰਦਰ ਜਨਰੇਸ਼ਨ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਅੱਪਡੇਟ ਵੀ ਕਰ ਸਕਦੇ ਹਨ। ਇਹ greedy/beam ਖੋਜ ਅਤੇ TopP, TopK ਸੈਂਪਲਿੰਗ ਲਈ ਸਹਾਇਕਤਾ ਰੱਖਦਾ ਹੈ ਟੋਕਨ ਸੀਕਵੈਂਸ ਪ੍ਰਸਾਰਿਤ ਕਰਨ ਲਈ ਅਤੇ ਦੁਹਰਾਅ ਸਜ਼ਾਵਾਂ ਵਰਗੇ ਬਿਲਟ-ਇਨ ਲੋਗਿਟ ਪ੍ਰੋਸੈਸਿੰਗ ਵੀ ਰੱਖਦਾ ਹੈ। ਤੁਸੀਂ ਅਸਾਨੀ ਨਾਲ ਕਸਟਮ ਸਕੋਰਿੰਗ ਵੀ ਜੋੜ ਸਕਦੇ ਹੋ। + +ਐਪਲੀਕੇਸ਼ਨ ਲੈਵਲ 'ਤੇ, ਤੁਸੀਂ C++/ C# / Python ਦੀ ਵਰਤੋਂ ਕਰਕੇ Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ ਵਰਤ ਕੇ ਐਪ ਬਣਾਉ ਸਕਦੇ ਹੋ। ਮਾਡਲ ਲੈਵਲ 'ਤੇ, ਤੁਸੀਂ ਇਸਦੀ ਵਰਤੋਂ ਫਾਈਨ-ਟੂਨਡ ਮਾਡਲਾਂ ਨੂੰ ਮਰਜ ਕਰਕੇ ਸੰਬੰਧਿਤ ਕੁਆਂਟਿਟੇਟਿਵ ਡਿਪਲੋਯਮੈਂਟ ਕੰਮ ਕਰਨ ਲਈ ਕਰ ਸਕਦੇ ਹੋ। + + +## **Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ ਨਾਲ Phi-3.5 ਦੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ** + +### **ਸਹਾਇਕ ਮਾਡਲ** + +onnxruntime ਲਈ Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ Microsoft Phi, Google Gemma, Mistral ਅਤੇ Meta LLaMA ਦੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਕਨਵਰਜ਼ਨ ਨੂੰ ਸਹਾਇਤਾ ਕਰਦੇ ਹਨ। + + +### **onnxruntime ਲਈ Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ ਵਿੱਚ ਮਾਡਲ ਬਿਲਡਰ** + +ਮਾਡਲ ਬਿਲਡਰ ਅਨੁਕੂਲਿਤ ਅਤੇ ਕੁਆਂਟਾਈਜ਼ਡ ONNX ਮਾਡਲ ਬਣਾਉਣ ਦੇ ਕੰਮ ਨੂੰ ਬਹੁਤ ਤੇਜ਼ ਕਰਦਾ ਹੈ ਜੋ ONNX Runtime generate() API ਨਾਲ ਚਲਦੇ ਹਨ। + +ਮਾਡਲ ਬਿਲਡਰ ਰਾਹੀਂ, ਤੁਸੀਂ ਮਾਡਲ ਨੂੰ INT4, INT8, FP16, FP32 ਵਿੱਚ ਕੁਆਂਟਾਈਜ਼ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ CPU, CUDA, DirectML, Mobile ਆਦਿ ਵਰਗੇ ਵੱਖ-ਵੱਖ ਹਾਰਡਵੇਅਰ ਤੇਜ਼ੀ ਦੇ ਤਰੀਕਿਆਂ ਨੂੰ ਮਿਲਾ ਸਕਦੇ ਹੋ। + +ਮਾਡਲ ਬਿਲਡਰ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ ਇੰਸਟਾਲ ਕਰਨਾ ਪਵੇਗਾ + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +ਇੰਸਟਾਲੇਸ਼ਨ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਮਾਡਲ ਬਿਲਡਰ ਸਕ੍ਰਿਪਟ ਨੂੰ ਟਰਮੀਨਲ ਤੋਂ ਚਲਾ ਕੇ ਮਾਡਲ ਫਾਰਮੈਟ ਅਤੇ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਕਨਵਰਜ਼ਨ ਕਰ ਸਕਦੇ ਹੋ। + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +ਸੰਬੰਧਿਤ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਸਮਝੋ + +1. **model_name** ਇਹ Hugging face 'ਤੇ ਮੌਜੂਦ ਮਾਡਲ ਹੈ, ਜਿਵੇਂ microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct ਆਦਿ। ਇਹ ਮਾਡਲ ਸਟੋਰ ਕਰਨ ਵਾਲੀ ਰਾਹ ਵੀ ਹੋ ਸਕਦੀ ਹੈ + +2. **path_to_output_folder** ਕੁਆਂਟਾਈਜ਼ਡ ਕਨਵਰਜ਼ਨ ਸੇਵ ਕਰਣ ਵਾਲੀ ਰਾਹ + +3. **execution_provider** ਵੱਖ-ਵੱਖ ਹਾਰਡਵੇਅਰ ਤੇਜ਼ੀ ਸਹਾਇਕਤਾ, ਜਿਵੇਂ cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** ਅਸੀਂ Hugging face ਤੋਂ ਮਾਡਲ ਡਾਊਨਲੋਡ ਕਰਦੇ ਹਾਂ ਅਤੇ ਇਸਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਕੈਸ਼ ਕਰਦੇ ਹਾਂ + + + + +***ਨੋਟ：*** + +## **ਮਾਡਲ ਬਿਲਡਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ Phi-3.5 ਦੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਕਿਵੇਂ ਕਰੀਏ** + +ਮਾਡਲ ਬਿਲਡਰ ਹੁਣ Phi-3.5 Instruct ਅਤੇ Phi-3.5-Vision ਲਈ ONNX ਮਾਡਲ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਸਮਰਥਨ ਦਿੰਦਾ ਹੈ ### **Phi-3.5-Instruct** -**ਕਵਾਂਟਾਈਜ਼ਡ INT4 ਦੀ CPU ਤੇ ਤੇਜ਼ ਕੀਤੀ ਗਈ ਕਨਵਰਜ਼ਨ** + +**ਕੁਆਂਟਾਈਜ਼ਡ INT 4 ਦਾ CPU ਤੇਜ਼ੀ ਵਾਲਾ ਕਨਵਰਜ਼ਨ** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**ਕਵਾਂਟਾਈਜ਼ਡ INT4 ਦੀ CUDA ਤੇ ਤੇਜ਼ ਕੀਤੀ ਗਈ ਕਨਵਰਜ਼ਨ** +**ਕੁਆਂਟਾਈਜ਼ਡ INT 4 ਦਾ CUDA ਤੇਜ਼ੀ ਵਾਲਾ ਕਨਵਰਜ਼ਨ** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. ਟਰਮੀਨਲ ਵਿੱਚ ਵਾਤਾਵਰਣ ਸੈੱਟ ਕਰੋ +1. ਟਰਮੀਨਲ ਵਿੱਚ ਮਾਹੌਲ ਸੈੱਟ ਕਰੋ ```bash @@ -40,10 +101,10 @@ cd models ``` -2. models ਫੋਲਡਰ ਵਿੱਚ microsoft/Phi-3.5-vision-instruct ਡਾਊਨਲੋਡ ਕਰੋ +2. ਮਾਡਲ ਫੋਲਡਰ ਵਿੱਚ microsoft/Phi-3.5-vision-instruct ਡਾਊਨਲੋਡ ਕਰੋ [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. ਕਿਰਪਾ ਕਰਕੇ ਇਹ ਫਾਈਲਾਂ ਆਪਣੇ Phi-3.5-vision-instruct ਫੋਲਡਰ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰੋ +3. ਕਿਰਪਾ ਕਰਕੇ ਇਹ ਫਾਇਲਾਂ ਆਪਣੇ Phi-3.5-vision-instruct ਫੋਲਡਰ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰੋ - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. ਇਹ ਫਾਈਲ models ਫੋਲਡਰ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰੋ + +4. ਮਾਡਲ ਫੋਲਡਰ ਵਿੱਚ ਇਹ ਫਾਇਲ ਡਾਊਨਲੋਡ ਕਰੋ [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. ਟਰਮੀਨਲ 'ਤੇ ਜਾਓ - FP32 ਨਾਲ ONNX ਸਹਿਯੋਗੀ ਕਨਵਰਜ਼ਨ ਕਰੋ +ONNX ਲਈ FP32 ਸਮਰਥਿਤ ਕਨਵਰਜ਼ਨ ਕਰੋ + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **ਨੋਟ：** -1. ਮਾਡਲ ਬਿਲਡਰ ਇਸ ਸਮੇਂ Phi-3.5-Instruct ਅਤੇ Phi-3.5-Vision ਦੀ ਕਨਵਰਜ਼ਨ ਨੂੰ ਸਹਿਯੋਗ ਦਿੰਦਾ ਹੈ, ਪਰ Phi-3.5-MoE ਲਈ ਨਹੀਂ। +1. ਮਾਡਲ ਬਿਲਡਰ ਇਸ ਵੇਲੇ Phi-3.5-Instruct ਅਤੇ Phi-3.5-Vision ਦੇ ਕਨਵਰਜ਼ਨ ਨੂੰ ਸਮਰਥਨ ਦਿੰਦਾ ਹੈ, ਪਰ Phi-3.5-MoE ਨੂੰ ਨਹੀਂ -2. ONNX ਦੇ ਕਵਾਂਟਾਈਜ਼ਡ ਮਾਡਲ ਨੂੰ ਵਰਤਣ ਲਈ, ਤੁਸੀਂ ਇਸਨੂੰ Generative AI extensions for onnxruntime SDK ਰਾਹੀਂ ਵਰਤ ਸਕਦੇ ਹੋ। +2. ਤੁਸੀਂ ONNX ਦੇ ਕੁਆਂਟਾਈਜ਼ਡ ਮਾਡਲ ਨੂੰ Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ for onnxruntime SDK ਰਾਹੀਂ ਵਰਤ ਸਕਦੇ ਹੋ -3. ਸਾਨੂੰ ਜ਼ਿਆਦਾ ਜ਼ਿੰਮੇਵਾਰ AI ਬਾਰੇ ਸੋਚਣਾ ਚਾਹੀਦਾ ਹੈ, ਇਸ ਲਈ ਮਾਡਲ ਕਵਾਂਟਾਈਜ਼ੇਸ਼ਨ ਕਨਵਰਜ਼ਨ ਤੋਂ ਬਾਅਦ, ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਤੀਜੇ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। +3. ਸਾਨੂੰ ਜ਼ਿੰਮੇਵਾਰ AI ਬਾਰੇ ਵਧੇਰੇ ਸੋਚਣਾ ਚਾਹੀਦਾ ਹੈ, ਇਸ ਕਰਕੇ ਮਾਡਲ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਤੋਂ ਬਾਅਦ ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਤੀਜੇ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਸਿਫਾਰਿਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ + +4. CPU INT4 ਮਾਡਲ ਦੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦੇ ਨਾਲ, ਅਸੀਂ ਇਸਨੂੰ Edge ਡਿਵਾਈਸ 'ਤੇ ਡਿਪਲੌਇ ਕਰ ਸਕਦੇ ਹਾਂ, ਜਿਸਦੇ ਬਿਹਤਰ ਐਪਲੀਕੇਸ਼ਨ ਸਨੀਹ ਹਨ, ਇਸ ਲਈ ਅਸੀਂ Phi-3.5-Instruct ਨੂੰ INT 4 ਦੇ ਆਸ-ਪਾਸ ਮੁਕੰਮਲ ਕੀਤਾ ਹੈ -4. CPU INT4 ਮਾਡਲ ਨੂੰ ਕਵਾਂਟਾਈਜ਼ ਕਰਕੇ, ਅਸੀਂ ਇਸਨੂੰ Edge Device 'ਤੇ ਡਿਪਲੋਇ ਕਰ ਸਕਦੇ ਹਾਂ, ਜਿਸ ਨਾਲ ਬਿਹਤਰ ਐਪਲੀਕੇਸ਼ਨ ਸਥਿਤੀਆਂ ਬਣਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਅਸੀਂ Phi-3.5-Instruct ਨੂੰ INT4 ਦੇ ਆਲੇ-ਦੁਆਲੇ ਪੂਰਾ ਕਰ ਲਿਆ ਹੈ। ## **ਸੰਸਾਧਨ** -1. Generative AI extensions for onnxruntime ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਲਈ [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. onnxruntime ਲਈ Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ ਬਾਰੇ ਹੋਰ ਜਾਣੋ [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. onnxruntime ਲਈ Generative AI ਐਕਸਟੈਂਸ਼ਨਜ਼ GitHub ਰਿਪੋ [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime ਦਾ GitHub ਰਿਪੋ [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**ਅਸਵੀਕਾਰੋਪਣ**: -ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ [Co-op Translator](https://github.com/Azure/co-op-translator) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਅਤ ਲਈ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮਰਥਤਾਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਪ੍ਰਮਾਣਿਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਉਤਪੰਨ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ। \ No newline at end of file + +**ਅਸਵੀਕਾਰੋਪਣ**: +ਇਸ ਦਸਤਾਵੇਜ਼ ਦਾ ਅਨੁਵਾਦ ਏਆਈ ਅਨੁਵਾਦ ਸੇਵਾ [Co-op Translator](https://github.com/Azure/co-op-translator) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਤਾਵਾਂ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮੱਤਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜਰੂਰੀ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਇਸ ਅਨੁਵਾਦ ਦੇ ਉਪਯੋਗ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀਆਂ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀਆਂ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆਵਾਂ ਲਈ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹਾਂ। + \ No newline at end of file diff --git a/translations/pa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/pa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index c2e8d9ab8..416496c91 100644 --- a/translations/pa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/pa/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,59 @@ -# Windows GPU ਦੀ ਵਰਤੋਂ ਕਰਕੇ Phi-3.5-Instruct ONNX ਨਾਲ Prompt flow ਹੱਲ ਬਣਾਉਣਾ +# Windows GPU ਦੀ ਵਰਤੋਂ ਕਰਕੇ Phi-3.5-Instruct ONNX ਨਾਲ Prompt flow ਹੱਲ ਬਣਾਉਣਾ -ਹੇਠਾਂ ਦਿੱਤਾ ਦਸਤਾਵੇਜ਼ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ONNX (Open Neural Network Exchange) ਨਾਲ PromptFlow ਦੀ ਵਰਤੋਂ ਕਰਕੇ Phi-3 ਮਾਡਲਾਂ 'ਤੇ ਆਧਾਰਿਤ AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਵਿਕਸਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। +ਹੇਠਾਂ ਦਿੱਤਾ ਦਸਤਾਵੇਜ਼ ਇਹ ਉਦਾਹਰਨ ਹੈ ਕਿ ONNX (Open Neural Network Exchange) ਨਾਲ PromptFlow ਨੂੰ Phi-3 ਮਾਡਲਾਂ ਅਧਾਰਿਤ AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿਕਸਿਤ ਕਰਨ ਲਈ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ। -PromptFlow ਇੱਕ ਵਿਕਾਸ ਟੂਲ ਸੂਟ ਹੈ ਜੋ LLM-ਆਧਾਰਿਤ (Large Language Model) AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਪੂਰੇ ਵਿਕਾਸ ਚੱਕਰ ਨੂੰ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਵਿਚਾਰ-ਵਟਾਂਦਰਾ, ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ, ਟੈਸਟਿੰਗ ਅਤੇ ਮੁਲਾਂਕਣ। +PromptFlow ਇੱਕ ਐਸਾ ਵਿਕਾਸ ਟੂਲ ਸੂਟ ਹੈ ਜੋ LLM-ਅਧਾਰਿਤ (ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ) AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਸਮੂਹ-ਚਕਰ ਵਿਕਾਸ ਚੱਕਰ ਨੂੰ ਸੁਚਾਰੂ ਬਣਾਉਣ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਵਿਚਾਰ ਤੋਂ ਲੈ ਕੇ ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ, ਟੈਸਟਿੰਗ ਅਤੇ ਮੁਲਾਂਕਣ ਤੱਕ। -PromptFlow ਨੂੰ ONNX ਨਾਲ ਜੋੜ ਕੇ ਵਿਕਾਸਕਾਰ ਇਹ ਕਰ ਸਕਦੇ ਹਨ: +PromptFlow ਨੂੰ ONNX ਨਾਲ ਇੰਤਿਗ੍ਰੇਟ ਕਰਕੇ ਵਿਕਾਸਕਾਰ ਕਰ ਸਕਦੇ ਹਨ: -- ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣਾ: ONNX ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲ ਇੰਫਰੈਂਸ ਅਤੇ ਡਿਪਲੋਇਮੈਂਟ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਣਾਓ। -- ਵਿਕਾਸ ਨੂੰ ਸਧਾਰਨ ਬਣਾਉਣਾ: PromptFlow ਨਾਲ ਵਰਕਫਲੋ ਨੂੰ ਮੈਨੇਜ ਕਰੋ ਅਤੇ ਦੁਹਰਾਏ ਜਾਣ ਵਾਲੇ ਕੰਮਾਂ ਨੂੰ ਆਟੋਮੇਟ ਕਰੋ। -- ਸਹਿਯੋਗ ਨੂੰ ਵਧਾਉਣਾ: ਟੀਮ ਮੈਂਬਰਾਂ ਵਿਚਕਾਰ ਬਿਹਤਰ ਸਹਿਯੋਗ ਲਈ ਇੱਕਜੁੱਟ ਵਿਕਾਸ ਵਾਤਾਵਰਣ ਪ੍ਰਦਾਨ ਕਰੋ। +- ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਬਿਹਤਰੀ ਕਰੋ: ONNX ਦੀ ਵਰਤੋਂ ਨਾਲ ਮਾਡਲ ਇੰਫਰੰਸ ਅਤੇਤਨਖੇਦਾਰੀ ਵਿੱਚ ਕੁਸ਼ਲਤਾ ਪ੍ਰਾਪਤ ਕਰੋ। +- ਵਿਕਾਸ ਨੂੰ ਸਧਾਰਿਤ ਕਰੋ: PromptFlow ਦੀ ਵਰਤੋਂ ਉੱਪਰ-ਕਾਰਜ ਪ੍ਰਬੰਧਨ ਲਈ ਅਤੇ ਮੁੜ-ਮੁੜ ਕਾਮਾਂ ਨੂੰ ਆਟੋਮੈਟ ਕਰਨ ਲਈ ਕਰੋ। +- ਸਹਿਯੋਗ ਨੂੰ ਬਿਹਤਰ ਬਣਾਓ: ਟੀਮ ਮੈਂਬਰਾਂ ਵਿੱਚ ਚੰਗਾ ਸਹਿਯੋਗ ਯਕੀਨੀ ਬਨਾਉਣ ਲਈ ਇਕਸਾਰ ਵਿਕਾਸ ਵਾਤਾਵਰਨ ਮੁਹੱਈਆ ਕਰੋ। -**Prompt flow** ਇੱਕ ਵਿਕਾਸ ਟੂਲ ਸੂਟ ਹੈ ਜੋ LLM-ਆਧਾਰਿਤ AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਪੂਰੇ ਵਿਕਾਸ ਚੱਕਰ ਨੂੰ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਵਿਚਾਰ-ਵਟਾਂਦਰਾ, ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ, ਟੈਸਟਿੰਗ, ਮੁਲਾਂਕਣ ਤੋਂ ਲੈ ਕੇ ਉਤਪਾਦਨ ਡਿਪਲੋਇਮੈਂਟ ਅਤੇ ਮਾਨੀਟਰਿੰਗ ਸ਼ਾਮਲ ਹਨ। ਇਹ prompt engineering ਨੂੰ ਬਹੁਤ ਸੌਖਾ ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਉਤਪਾਦਨ ਗੁਣਵੱਤਾ ਵਾਲੀਆਂ LLM ਐਪਸ ਬਣਾਉਣ ਦੀ ਸਹੂਲਤ ਦਿੰਦਾ ਹੈ। +**Prompt flow** ਇੱਕ ਐਸਾ ਵਿਕਾਸ ਟੂਲ ਸੂਟ ਹੈ ਜੋ LLM-ਅਧਾਰਿਤ AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਸਮੂਹ-ਚਕਰ ਵਿਕਾਸ ਨੂੰ ਸੁਚਾਰੂ ਬਣਾਉਣ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਵਿਚਾਰ, ਪ੍ਰੋਟੋਟਾਈਪ, ਟੈਸਟਿੰਗ, ਮੁਲਾਂਕਣ ਤੋਂ ਲੈ ਕੇ ਉਤਪਾਦਨ ਤੱਕ। ਇਹ ਪ੍ਰੋਮਪਟ ਇੰਜੀਨੀਅਰਿੰਗ ਨੂੰ ਬਹੁਤ ਅਸਾਨ ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਉਤਪਾਦਨ ਗੁਣਵੱਤਾ ਵਾਲੇ LLM ਐਪ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। -Prompt flow OpenAI, Azure OpenAI Service, ਅਤੇ ਕਸਟਮਾਈਜ਼ੇਬਲ ਮਾਡਲਾਂ (Huggingface, ਸਥਾਨਕ LLM/SLM) ਨਾਲ ਜੁੜ ਸਕਦਾ ਹੈ। ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ Phi-3.5 ਦਾ quantized ONNX ਮਾਡਲ ਸਥਾਨਕ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਡਿਪਲੋਇਮੈਂਟ ਕੀਤਾ ਜਾਵੇਗਾ। Prompt flow ਸਾਡੇ ਕਾਰੋਬਾਰ ਦੀ ਯੋਜਨਾ ਬਣਾਉਣ ਅਤੇ Phi-3.5 'ਤੇ ਆਧਾਰਿਤ ਸਥਾਨਕ ਹੱਲ ਪੂਰੇ ਕਰਨ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰ ਸਕਦਾ ਹੈ। ਇਸ ਉਦਾਹਰਨ ਵਿੱਚ, ਅਸੀਂ Windows GPU 'ਤੇ ਆਧਾਰਿਤ Prompt flow ਹੱਲ ਪੂਰਾ ਕਰਨ ਲਈ ONNX Runtime GenAI ਲਾਇਬ੍ਰੇਰੀ ਨੂੰ ਜੋੜਾਂਗੇ। +Prompt flow OpenAI, Azure OpenAI Service ਅਤੇ ਕਸਟਮਾਈਜ਼ੇਬਲ ਮਾਡਲਾਂ (Huggingface, ਸਥਾਨਕ LLM/SLM) ਨਾਲ ਜੁੜ ਸਕਦਾ ਹੈ। ਅਸੀਂ Phi-3.5 ਦੇ ਕੁਐਂਟਾਈਜ਼ਡ ONNX ਮਾਡਲ ਨੂੰ ਸਥਾਨਕ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਤਾਇਨਾਤ ਕਰਨ ਦੀ ਉਮੀਦ ਰੱਖਦੇ ਹਾਂ। Prompt flow ਸਾਡੇ ਕਾਰੋਬਾਰ ਨੂੰ ਬਿਹਤਰ ਯੋਜਨਾ ਬਣਾਉਣ ਵਿੱਚ ਅਤੇ Phi-3.5 ਦੇ ਆਧਾਰ 'ਤੇ ਸਥਾਨਕ ਹੱਲ ਪੂਰੇ ਕਰਨ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰ ਸਕਦਾ ਹੈ। ਇਸ ਉਦਾਹਰਨ ਵਿੱਚ, ਅਸੀਂ ONNX Runtime GenAI ਲਾਇਬ੍ਰੇਰੀ ਨੂੰ ਜੋੜ ਕੇ Windows GPU 'ਤੇ ਆਧਾਰਿਤ Prompt flow ਹੱਲ ਨੂੰ ਪੂਰਾ ਕਰਾਂਗੇ। ## **ਇੰਸਟਾਲੇਸ਼ਨ** ### **Windows GPU ਲਈ ONNX Runtime GenAI** -Windows GPU ਲਈ ONNX Runtime GenAI ਸੈੱਟ ਕਰਨ ਲਈ ਇਹ ਗਾਈਡਲਾਈਨ ਪੜ੍ਹੋ [click here](./ORTWindowGPUGuideline.md) +Windows GPU ਲਈ ONNX Runtime GenAI ਸੈਟ ਕਰਨ ਲਈ ਇਹ ਸਲਾਹ-ਮਸਵਰਾ ਪੜ੍ਹੋ [click here](./ORTWindowGPUGuideline.md) -### **VSCode ਵਿੱਚ Prompt flow ਸੈੱਟ ਕਰੋ** +### **VSCode ਵਿੱਚ Prompt flow ਸੈੱਟ ਅੱਪ ਕਰੋ** 1. Prompt flow VS Code ਐਕਸਟੈਂਸ਼ਨ ਇੰਸਟਾਲ ਕਰੋ ![pfvscode](../../../../../../translated_images/pa/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code ਐਕਸਟੈਂਸ਼ਨ ਇੰਸਟਾਲ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਐਕਸਟੈਂਸ਼ਨ 'ਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ **Installation dependencies** ਚੁਣੋ, ਇਸ ਗਾਈਡਲਾਈਨ ਨੂੰ ਫਾਲੋ ਕਰਦੇ ਹੋਏ ਆਪਣੇ ਵਾਤਾਵਰਣ ਵਿੱਚ Prompt flow SDK ਇੰਸਟਾਲ ਕਰੋ +2. Prompt flow VS Code ਐਕਸਟੈਂਸ਼ਨ ਇੰਸਟਾਲ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਐਕਸਟੈਂਸ਼ਨ 'ਤੇ ਕਲਿੱਕ ਕਰੋ, ਅਤੇ **ਇੰਸਟਾਲੇਸ਼ਨ ਡਿਪੈਂਡੈਂਸੀਜ਼** ਚੁਣੋ, ਇਸ ਸਲਾਹ-ਮਸਵਰੇ ਨੂੰ ਫਾਲੋ ਕਰਦੇ ਹੋਏ Prompt flow SDK ਆਪਣੇ ਵਾਤਾਵਰਨ ਵਿੱਚ ਇੰਸਟਾਲ ਕਰੋ ![pfsetup](../../../../../../translated_images/pa/pfsetup.b46e93096f5a254f.webp) -3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ਡਾਊਨਲੋਡ ਕਰੋ ਅਤੇ VS Code ਨਾਲ ਇਹ ਸੈਂਪਲ ਖੋਲ੍ਹੋ +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ਡਾਊਨਲੋਡ ਕਰੋ ਅਤੇ VS Code ਨਾਲ ਇਸ ਸੈਂਪਲ ਨੂੰ ਖੋਲ੍ਹੋ ![pfsample](../../../../../../translated_images/pa/pfsample.8d89e70584ffe7c4.webp) -4. **flow.dag.yaml** ਖੋਲ੍ਹੋ ਅਤੇ ਆਪਣਾ Python ਵਾਤਾਵਰਣ ਚੁਣੋ +4. **flow.dag.yaml** ਖੋਲ੍ਹੋ ਅਤੇ ਆਪਣਾ Python ਵਾਤਾਵਰਨ ਚੁਣੋ ![pfdag](../../../../../../translated_images/pa/pfdag.264a77f7366458ff.webp) - **chat_phi3_ort.py** ਖੋਲ੍ਹੋ ਅਤੇ ਆਪਣੀ Phi-3.5-instruct ONNX ਮਾਡਲ ਦੀ ਥਾਂ ਬਦਲੋ + **chat_phi3_ort.py** ਖੋਲ੍ਹੋ ਅਤੇ ਆਪਣੀ Phi-3.5-instruct ONNX ਮਾਡਲ ਸਥਿਤੀ ਬਦਲੋ ![pfphi](../../../../../../translated_images/pa/pfphi.72da81d74244b45f.webp) -5. ਆਪਣਾ prompt flow ਟੈਸਟ ਕਰਨ ਲਈ ਚਲਾਓ +5. ਆਪਣੇ prompt flow ਨੂੰ ਟੈਸਟ ਕਰਨ ਲਈ ਚਲਾਓ **flow.dag.yaml** ਖੋਲ੍ਹੋ ਅਤੇ visual editor 'ਤੇ ਕਲਿੱਕ ਕਰੋ ![pfv](../../../../../../translated_images/pa/pfv.ba8a81f34b20f603.webp) -ਇਸ 'ਤੇ ਕਲਿੱਕ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਟੈਸਟ ਕਰਨ ਲਈ ਚਲਾਓ +ਇਸ 'ਤੇ ਕਲਿੱਕ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਇਸ ਨੂੰ ਚਲਾ ਕੇ ਟੈਸਟ ਕਰੋ ![pfflow](../../../../../../translated_images/pa/pfflow.4e1135a089b1ce1b.webp) -1. ਹੋਰ ਨਤੀਜੇ ਵੇਖਣ ਲਈ ਤੁਸੀਂ ਟਰਮੀਨਲ ਵਿੱਚ ਬੈਚ ਚਲਾ ਸਕਦੇ ਹੋ +1. ਤੁਸੀਂ ਮੋਰ ਨਤੀਜਿਆਂ ਲਈ ਟਰਮੀਨਲ ਵਿੱਚ ਬੈਚ ਚਲਾ ਸਕਦੇ ਹੋ + ```bash @@ -60,9 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -ਤੁਸੀਂ ਆਪਣੇ ਡਿਫਾਲਟ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਨਤੀਜੇ ਵੇਖ ਸਕਦੇ ਹੋ +ਤੁਸੀਂ ਆਪਣੇ ਡਿਫਾਲਟ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਨਤੀਜੇ ਦੇਖ ਸਕਦੇ ਹੋ + ![pfresult](../../../../../../translated_images/pa/pfresult.c22c826f8062d7cb.webp) -**ਅਸਵੀਕਾਰੋਪੱਤਰ**: -ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ [Co-op Translator](https://github.com/Azure/co-op-translator) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਤਾ ਲਈ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮਰਥਤਾਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਪ੍ਰਮਾਣਿਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਉਤਪੰਨ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ। \ No newline at end of file +--- + + +**ਅਸਵੀਕਾਰੋਪਣ**: +ਇਸ ਦਸਤਾਵੇਜ਼ ਦਾ ਅਨੁਵਾਦ ਏਆਈ ਅਨੁਵਾਦ ਸੇਵਾ [Co-op Translator](https://github.com/Azure/co-op-translator) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਤਾਵਾਂ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮੱਤਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜਰੂਰੀ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਇਸ ਅਨੁਵਾਦ ਦੇ ਉਪਯੋਗ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀਆਂ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀਆਂ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆਵਾਂ ਲਈ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹਾਂ। + \ No newline at end of file diff --git a/translations/pl/.co-op-translator.json b/translations/pl/.co-op-translator.json index 1e6794cf0..69e002788 100644 --- a/translations/pl/.co-op-translator.json +++ b/translations/pl/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:20:10+00:00", + "translation_date": "2026-07-29T17:55:51+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "pl" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:43:00+00:00", + "translation_date": "2026-07-29T17:56:32+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "pl" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:00:04+00:00", + "translation_date": "2026-07-29T17:56:08+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "pl" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:59:50+00:00", + "translation_date": "2026-07-29T17:55:23+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "pl" }, diff --git a/translations/pl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/pl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index da5959ce8..f2285b1cd 100644 --- a/translations/pl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/pl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ +# **Kwantyzacja rodziny Phi za pomocą rozszerzeń Generative AI dla onnxruntime** + +## **Czym są rozszerzenia Generative AI dla onnxruntime** + +Te rozszerzenia pomagają uruchamiać generatywną AI z ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Zapewniają pętlę generatywnej AI dla modeli ONNX, w tym inferencję z ONNX Runtime, przetwarzanie logitów, wyszukiwanie i próbkowanie oraz zarządzanie pamięcią podręczną KV. Programiści mogą wywołać wysokopoziomową metodę generate() lub uruchamiać każdą iterację modelu w pętli, generując po jednym tokenie na raz i opcjonalnie aktualizując parametry generowania wewnątrz pętli. Obsługuje wyszukiwanie zachłanne/beam search oraz próbkowanie TopP, TopK do generowania sekwencji tokenów oraz wbudowane przetwarzanie logitów, takie jak kary za powtórzenia. Można także łatwo dodać własne metody oceny. + +Na poziomie aplikacji można używać rozszerzeń Generative AI dla onnxruntime do tworzenia aplikacji w C++/ C# / Python. Na poziomie modelu można je wykorzystać do łączenia wytrenowanych modeli i wykonywania związanych z tym ilościowych zadań wdrożeniowych. + + +## **Kwantyzacja Phi-3.5 za pomocą rozszerzeń Generative AI dla onnxruntime** + +### **Obsługiwane modele** + +Rozszerzenia Generative AI dla onnxruntime obsługują konwersję kwantyzacji modeli Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder w rozszerzeniach Generative AI dla onnxruntime** + +Model Builder znacznie przyspiesza tworzenie zoptymalizowanych i skwantyzowanych modeli ONNX, które działają z API generate() ONNX Runtime. + +Za pomocą Model Builder możesz skwantyzować model do INT4, INT8, FP16, FP32 oraz łączyć różne metody przyspieszenia sprzętowego, takie jak CPU, CUDA, DirectML, Mobile itd. + +Aby korzystać z Model Builder, musisz zainstalować + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Po instalacji możesz uruchomić skrypt Model Builder z terminala, aby przeprowadzić konwersję formatu modelu i kwantyzację. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Zrozum odpowiednie parametry + +1. **model_name** To jest model na Hugging Face, taki jak microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct itp. Może to być także ścieżka, gdzie przechowujesz model + +2. **path_to_output_folder** Ścieżka do zapisu skonwertowanego modelu skwantyzowanego + +3. **execution_provider** Wsparcie różnych przyspieszeń sprzętowych, takich jak cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Pobieramy model z Hugging Face i buforujemy lokalnie + + + + +***Uwaga：*** + ## **Jak używać Model Builder do kwantyzacji Phi-3.5** -Model Builder obecnie wspiera kwantyzację modeli ONNX dla Phi-3.5 Instruct oraz Phi-3.5-Vision +Model Builder obecnie wspiera kwantyzację modelu ONNX dla Phi-3.5 Instruct i Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Konwersja kwantyzowana INT4 przyspieszona na CPU** + +**Konwersja przyspieszona na CPU w kwantyzacji INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Konwersja kwantyzowana INT4 przyspieszona na CUDA** +**Konwersja przyspieszona CUDA w kwantyzacji INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Pobierz microsoft/Phi-3.5-vision-instruct do folderu models +2. Pobierz microsoft/Phi-3.5-vision-instruct do folderu models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Pobierz te pliki do folderu Phi-3.5-vision-instruct +3. Proszę pobrać te pliki do swojego folderu Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Pobierz ten plik do folderu models + +4. Pobierz ten plik do folderu models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Przejdź do terminala - Konwersja ONNX z obsługą FP32 + Konwersja wsparcia ONNX z FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Uwaga:** + +### **Uwaga：** 1. Model Builder obecnie wspiera konwersję Phi-3.5-Instruct oraz Phi-3.5-Vision, ale nie Phi-3.5-MoE -2. Aby używać kwantyzowanego modelu ONNX, można to zrobić przez SDK Generative AI extensions for onnxruntime +2. Aby korzystać z kwantyzowanego modelu ONNX, możesz używać go poprzez SDK rozszerzeń Generative AI dla onnxruntime -3. Należy brać pod uwagę odpowiedzialną AI, dlatego po konwersji kwantyzacji modelu zaleca się przeprowadzenie dokładniejszych testów wyników +3. Powinniśmy brać pod uwagę bardziej odpowiedzialną AI, więc po konwersji kwantyzacji modelu zalecane jest przeprowadzenie skuteczniejszych testów wyników + +4. Kwantyzując model CPU INT4, możemy go wdrożyć na urządzeniu brzegowym (Edge Device), które ma lepsze scenariusze zastosowań, dlatego zakończyliśmy proces dla Phi-3.5-Instruct wokół INT 4 -4. Kwantyzując model CPU INT4, możemy go wdrożyć na urządzenia Edge, co daje lepsze scenariusze zastosowań, dlatego zakończyliśmy prace nad Phi-3.5-Instruct w wersji INT4 ## **Zasoby** -1. Dowiedz się więcej o Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Dowiedz się więcej o rozszerzeniach Generative AI dla onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repozytorium GitHub rozszerzeń Generative AI dla onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repozytorium Generative AI extensions for onnxruntime na GitHub [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Zastrzeżenie**: -Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mimo że dążymy do jak największej dokładności, prosimy mieć na uwadze, że tłumaczenia automatyczne mogą zawierać błędy lub nieścisłości. Oryginalny dokument w języku źródłowym powinien być uznawany za źródło autorytatywne. W przypadku informacji o kluczowym znaczeniu zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z korzystania z tego tłumaczenia. \ No newline at end of file + +**Zastrzeżenie**: +Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Choć dążymy do dokładności, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub niedokładności. Oryginalny dokument w jego języku źródłowym należy uznawać za autorytatywne źródło. W przypadku informacji krytycznych zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia. + \ No newline at end of file diff --git a/translations/pl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/pl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 117e0c4c0..813bd84fd 100644 --- a/translations/pl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/pl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Wytyczne dotyczące OnnxRuntime GenAI Windows GPU** -Te wytyczne zawierają kroki dotyczące konfiguracji i korzystania z ONNX Runtime (ORT) z GPU na Windows. Mają na celu pomóc w wykorzystaniu akceleracji GPU dla Twoich modeli, poprawiając wydajność i efektywność. +Niniejsze wytyczne zawierają kroki dotyczące konfiguracji i używania ONNX Runtime (ORT) z GPU na Windows. Mają one na celu pomóc w wykorzystaniu akceleracji GPU dla Twoich modeli, poprawiając wydajność i efektywność. Dokument zawiera wskazówki dotyczące: -- Konfiguracji środowiska: Instrukcje instalacji niezbędnych zależności, takich jak CUDA, cuDNN i ONNX Runtime. -- Konfiguracji: Jak skonfigurować środowisko i ONNX Runtime, aby efektywnie korzystać z zasobów GPU. -- Wskazówek optymalizacyjnych: Porady, jak dostroić ustawienia GPU dla optymalnej wydajności. +- Konfiguracja środowiska: Instrukcje dotyczące instalacji niezbędnych zależności, takich jak CUDA, cuDNN i ONNX Runtime. +- Konfiguracja: Jak skonfigurować środowisko i ONNX Runtime, aby skutecznie korzystać z zasobów GPU. +- Wskazówki optymalizacyjne: Porady, jak dostroić ustawienia GPU dla optymalnej wydajności. ### **1. Python 3.10.x /3.11.8** - ***Note*** Zalecamy użycie [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) jako środowiska Pythona + ***Uwaga*** Zalecane jest korzystanie z [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) jako środowiska Pythona ```bash @@ -20,9 +20,10 @@ Dokument zawiera wskazówki dotyczące: ``` - ***Reminder*** Jeśli masz zainstalowaną jakąkolwiek bibliotekę ONNX dla Pythona, proszę ją odinstalować + ***Przypomnienie*** Jeśli masz zainstalowaną jakąkolwiek bibliotekę python ONNX, proszę odinstaluj ją + +### **2. Zainstaluj CMake za pomocą winget** -### **2. Instalacja CMake za pomocą winget** ```bash @@ -30,13 +31,14 @@ Dokument zawiera wskazówki dotyczące: ``` -### **3. Instalacja Visual Studio 2022 - Desktop Development with C++** +### **3. Zainstaluj Visual Studio 2022 - Tworzenie aplikacji desktopowych z C++** - ***Note*** Jeśli nie chcesz kompilować, możesz pominąć ten krok + ***Uwaga*** Jeśli nie chcesz kompilować, możesz pominąć ten krok ![CPP](../../../../../../translated_images/pl/01.42f52a2b2aedff02.webp) -### **4. Instalacja sterownika NVIDIA** + +### **4. Zainstaluj sterownik NVIDIA** 1. **Sterownik NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,11 +46,11 @@ Dokument zawiera wskazówki dotyczące: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Proszę korzystać z domyślnych ustawień podczas instalacji +***Przypomnienie*** Proszę używać domyślnych ustawień podczas instalacji ### **5. Ustawienie środowiska NVIDIA** -Skopiuj pliki NVIDIA CUDNN 9.4 z folderów lib, bin, include do odpowiednich folderów NVIDIA CUDA 12.4 +Skopiuj NVIDIA CUDNN 9.4 lib, bin, include do NVIDIA CUDA 12.4 lib, bin, include - skopiuj pliki z *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* @@ -56,8 +58,10 @@ Skopiuj pliki NVIDIA CUDNN 9.4 z folderów lib, bin, include do odpowiednich fol - skopiuj pliki z *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* + ### **6. Pobierz Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,16 +76,20 @@ Skopiuj pliki NVIDIA CUDNN 9.4 z folderów lib, bin, include do odpowiednich fol ### **7. Uruchomienie InferencePhi35Instruct.ipynb** - Otwórz [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) i wykonaj + Otwórz [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) i wykonaj + ![RESULT](../../../../../../translated_images/pl/02.b9b06996cf7255d5.webp) + ### **8. Kompilacja ORT GenAI GPU** - ***Note*** + + ***Uwaga*** - 1. Najpierw odinstaluj wszystkie pakiety związane z onnx, onnxruntime i onnxruntime-genai + 1. Proszę najpierw odinstalować wszystkie pakiety związane z onnx, onnxruntime i onnxruntime-genai + ```bash pip list @@ -90,6 +98,7 @@ Skopiuj pliki NVIDIA CUDNN 9.4 z folderów lib, bin, include do odpowiednich fol Następnie odinstaluj wszystkie biblioteki onnxruntime, np. + ```bash pip uninstall onnxruntime @@ -100,14 +109,18 @@ Skopiuj pliki NVIDIA CUDNN 9.4 z folderów lib, bin, include do odpowiednich fol ``` - 2. Sprawdź wsparcie rozszerzenia Visual Studio + 2. Sprawdź wsparcie rozszerzenia Visual Studio - Sprawdź folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, aby upewnić się, że znajduje się tam folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Sprawdź katalog C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, aby upewnić się, że katalog C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration istnieje. - Jeśli go nie ma, sprawdź inne foldery narzędzi Cuda i skopiuj folder visual_studio_integration wraz z zawartością do C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Jeśli nie, sprawdź inne foldery zestawu narzędzi CUDA i skopiuj folder visual_studio_integration oraz jego zawartość do C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Jeśli nie chcesz kompilować, możesz pominąć ten krok + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Skopiuj pliki NVIDIA CUDNN 9.4 z folderów lib, bin, include do odpowiednich fol - Pobierz [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Rozpakuj onnxruntime-win-x64-gpu-1.19.2.zip, zmień nazwę folderu na **ort**, a następnie skopiuj folder ort do onnxruntime-genai + - Rozpakuj onnxruntime-win-x64-gpu-1.19.2.zip, zmień nazwę na **ort**, skopiuj folder ort do onnxruntime-genai - - Używając Windows Terminal, przejdź do Developer Command Prompt for VS 2022 i przejdź do folderu onnxruntime-genai + - Używając Windows Terminal, przejdź do Developer Command Prompt dla VS 2022 i przejdź do katalogu onnxruntime-genai ![RESULT](../../../../../../translated_images/pl/03.b83ce473d5ff9b9b.webp) - Skompiluj go w swoim środowisku Pythona + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Skopiuj pliki NVIDIA CUDNN 9.4 z folderów lib, bin, include do odpowiednich fol ``` -**Zastrzeżenie**: -Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mimo że dążymy do jak największej dokładności, prosimy mieć na uwadze, że tłumaczenia automatyczne mogą zawierać błędy lub nieścisłości. Oryginalny dokument w języku źródłowym powinien być uznawany za źródło autorytatywne. W przypadku informacji o kluczowym znaczeniu zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z korzystania z tego tłumaczenia. \ No newline at end of file +--- + + +**Zastrzeżenie**: +Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Choć dążymy do dokładności, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub niedokładności. Oryginalny dokument w jego języku źródłowym należy uznawać za autorytatywne źródło. W przypadku informacji krytycznych zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia. + \ No newline at end of file diff --git a/translations/pl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/pl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index cb6aa4ba0..0a919c7ce 100644 --- a/translations/pl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/pl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,18 +1,18 @@ -# Używanie Windows GPU do tworzenia rozwiązania Prompt flow z Phi-3.5-Instruct ONNX +# Użycie Windows GPU do stworzenia rozwiązania Prompt flow z Phi-3.5-Instruct ONNX -Poniższy dokument jest przykładem, jak używać PromptFlow z ONNX (Open Neural Network Exchange) do tworzenia aplikacji AI opartych na modelach Phi-3. +Niniejszy dokument jest przykładem, jak używać PromptFlow z ONNX (Open Neural Network Exchange) do tworzenia aplikacji AI opartych na modelach Phi-3. -PromptFlow to zestaw narzędzi deweloperskich zaprojektowany, aby usprawnić cały cykl tworzenia aplikacji AI opartych na LLM (Large Language Model), od pomysłu i prototypowania, przez testowanie, aż po ewaluację. +PromptFlow to zestaw narzędzi deweloperskich zaprojektowanych, aby usprawnić cały cykl rozwoju aplikacji AI opartych na LLM (Large Language Model), od pomysłu i prototypowania po testowanie i ocenę. Integrując PromptFlow z ONNX, deweloperzy mogą: -- Optymalizować wydajność modelu: Wykorzystać ONNX do efektywnego wnioskowania i wdrażania modeli. -- Uprościć rozwój: Korzystać z PromptFlow do zarządzania przepływem pracy i automatyzacji powtarzalnych zadań. -- Zwiększyć współpracę: Ułatwić współpracę w zespole, zapewniając zunifikowane środowisko deweloperskie. +- Optymalizować wydajność modelu: Wykorzystać ONNX do efektywnego wykonywania i wdrażania modelu. +- Uprościć rozwój: Używać PromptFlow do zarządzania przepływem pracy i automatyzacji powtarzalnych zadań. +- Zwiększyć współpracę: Ułatwić współpracę między członkami zespołu, zapewniając zunifikowane środowisko deweloperskie. -**Prompt flow** to zestaw narzędzi deweloperskich, który usprawnia cały cykl tworzenia aplikacji AI opartych na LLM, od pomysłu, prototypowania, testowania, ewaluacji, aż po wdrożenie produkcyjne i monitorowanie. Ułatwia inżynierię promptów i pozwala tworzyć aplikacje LLM o jakości produkcyjnej. +**Prompt flow** to zestaw narzędzi deweloperskich zaprojektowanych, aby usprawnić cały cykl rozwoju aplikacji AI opartych na LLM, od ideacji, prototypowania, testowania, oceny po wdrożenie produkcyjne i monitorowanie. Ułatwia inżynierię promptów i pozwala na budowanie aplikacji LLM o jakości produkcyjnej. -Prompt flow może łączyć się z OpenAI, Azure OpenAI Service oraz modelami konfigurowalnymi (Huggingface, lokalne LLM/SLM). Planujemy wdrożyć kwantyzowany model ONNX Phi-3.5 do aplikacji lokalnych. Prompt flow pomoże nam lepiej zaplanować biznes i zrealizować lokalne rozwiązania oparte na Phi-3.5. W tym przykładzie połączymy ONNX Runtime GenAI Library, aby stworzyć rozwiązanie Prompt flow oparte na Windows GPU. +Prompt flow może łączyć się z OpenAI, Azure OpenAI Service oraz modelami konfigurowalnymi (Huggingface, lokalne LLM/SLM). Planujemy wdrożyć skwantyzowany model ONNX Phi-3.5 do aplikacji lokalnych. Prompt flow pomoże nam lepiej zaplanować biznes i ukończyć rozwiązania lokalne oparte na Phi-3.5. W tym przykładzie połączymy ONNX Runtime GenAI Library, aby ukończyć rozwiązanie Prompt flow oparte na Windows GPU. ## **Instalacja** @@ -22,19 +22,19 @@ Przeczytaj tę instrukcję, aby skonfigurować ONNX Runtime GenAI dla Windows GP ### **Konfiguracja Prompt flow w VSCode** -1. Zainstaluj rozszerzenie Prompt flow do VS Code +1. Zainstaluj rozszerzenie Prompt flow dla VS Code ![pfvscode](../../../../../../translated_images/pl/pfvscode.eff93dfc66a42cbe.webp) -2. Po zainstalowaniu rozszerzenia Prompt flow w VS Code, kliknij rozszerzenie i wybierz **Installation dependencies**, aby zgodnie z instrukcją zainstalować Prompt flow SDK w swoim środowisku +2. Po zainstalowaniu rozszerzenia Prompt flow VS Code, kliknij rozszerzenie i wybierz **Installation dependencies**, postępuj zgodnie z tą instrukcją, aby zainstalować Prompt flow SDK w swoim środowisku ![pfsetup](../../../../../../translated_images/pl/pfsetup.b46e93096f5a254f.webp) -3. Pobierz [Przykładowy kod](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) i otwórz go w VS Code +3. Pobierz [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) i użyj VS Code, aby otworzyć ten przykład ![pfsample](../../../../../../translated_images/pl/pfsample.8d89e70584ffe7c4.webp) -4. Otwórz **flow.dag.yaml**, aby wybrać swoje środowisko Python +4. Otwórz **flow.dag.yaml** i wybierz swoje środowisko Python ![pfdag](../../../../../../translated_images/pl/pfdag.264a77f7366458ff.webp) @@ -42,17 +42,17 @@ Przeczytaj tę instrukcję, aby skonfigurować ONNX Runtime GenAI dla Windows GP ![pfphi](../../../../../../translated_images/pl/pfphi.72da81d74244b45f.webp) -5. Uruchom swój prompt flow do testów +5. Uruchom swój prompt flow do testowania Otwórz **flow.dag.yaml** i kliknij edytor wizualny ![pfv](../../../../../../translated_images/pl/pfv.ba8a81f34b20f603.webp) -Po kliknięciu uruchom go, aby przetestować +Po kliknięciu tego, uruchom go, aby przetestować ![pfflow](../../../../../../translated_images/pl/pfflow.4e1135a089b1ce1b.webp) -1. Możesz uruchomić batch w terminalu, aby zobaczyć więcej wyników +1. Możesz uruchomić batch w terminalu, aby sprawdzić więcej wyników ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Wyniki możesz sprawdzić w domyślnej przeglądarce +Możesz sprawdzić wyniki w swojej domyślnej przeglądarce ![pfresult](../../../../../../translated_images/pl/pfresult.c22c826f8062d7cb.webp) -**Zastrzeżenie**: -Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Chociaż dokładamy starań, aby tłumaczenie było jak najbardziej precyzyjne, prosimy mieć na uwadze, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w języku źródłowym powinien być uznawany za źródło autorytatywne. W przypadku informacji o kluczowym znaczeniu zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z korzystania z tego tłumaczenia. \ No newline at end of file +--- + + +**Zastrzeżenie**: +Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Choć dążymy do dokładności, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub niedokładności. Oryginalny dokument w jego języku źródłowym należy uznawać za autorytatywne źródło. W przypadku informacji krytycznych zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia. + \ No newline at end of file diff --git a/translations/pl/md/03.FineTuning/FineTuning_MLX.md b/translations/pl/md/03.FineTuning/FineTuning_MLX.md index 9a20c453a..22ad4e695 100644 --- a/translations/pl/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/pl/md/03.FineTuning/FineTuning_MLX.md @@ -1,15 +1,18 @@ # **Dostrajanie Phi-3 za pomocą Apple MLX Framework** -Możemy przeprowadzić dostrajanie w połączeniu z Lora za pomocą linii poleceń Apple MLX Framework. (Jeśli chcesz dowiedzieć się więcej o działaniu MLX Framework, przeczytaj [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)) +Możemy wykonać dostrajanie w połączeniu z Lora za pomocą polecenia wiersza poleceń Apple MLX framework. (Jeśli chcesz dowiedzieć się więcej o działaniu MLX Framework, przeczytaj proszę [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md) + ## **1. Przygotowanie danych** -Domyślnie MLX Framework wymaga formatu jsonl dla zbiorów train, test i eval, a dostrajanie jest realizowane w połączeniu z Lora. +Domyślnie MLX Framework wymaga formatu jsonl dla train, test i eval oraz łączy się z Lora, aby wykonać zadania dostrajania. + ### ***Uwaga:*** 1. Format danych jsonl: + ```json {"text": "<|user|>\nWhen were iron maidens commonly used? <|end|>\n<|assistant|> \nIron maidens were never commonly used <|end|>"} @@ -19,15 +22,17 @@ Domyślnie MLX Framework wymaga formatu jsonl dla zbiorów train, test i eval, a ``` -2. W naszym przykładzie używamy danych z [TruthfulQA](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv), jednak ilość danych jest stosunkowo niewielka, więc wyniki dostrajania nie muszą być optymalne. Zalecamy, aby użytkownicy korzystali z lepszych danych dostosowanych do własnych scenariuszy. +2. Nasz przykład wykorzystuje [dane TruthfulQA](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv), jednak ilość danych jest stosunkowo niewystarczająca, dlatego wyniki dostrajania niekoniecznie są najlepsze. Zaleca się, aby osoby uczące się korzystały z lepszych danych dostosowanych do własnych scenariuszy. -3. Format danych jest zgodny z szablonem Phi-3. +3. Format danych jest skomponowany z szablonem Phi-3 + +Proszę pobrać dane z tego [linku](../../../../code/04.Finetuning/mlx), uwzględnij wszystkie pliki .jsonl w folderze ***data*** -Proszę pobrać dane z tego [linku](../../../../code/04.Finetuning/mlx), uwzględniając wszystkie pliki .jsonl w folderze ***data***. ## **2. Dostrajanie w terminalu** -Uruchom następujące polecenie w terminalu: +Uruchom polecenie w terminalu + ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` + ## ***Uwaga:*** -1. To jest dostrajanie LoRA, MLX Framework nie obsługuje QLoRA. +1. Jest to dostrajanie LoRA, MLX framework nie opublikował QLoRA + +2. Możesz ustawić config.yaml, aby zmienić niektóre argumenty, takie jak -2. Możesz zmienić niektóre argumenty w pliku config.yaml, na przykład: ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -Uruchom to polecenie w terminalu: +Uruchom polecenie w terminalu + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. Testowanie adaptera dostrajania** -Możesz uruchomić adapter dostrajania w terminalu, w ten sposób: +## **3. Uruchom adapter dostrajania do testów** + +Możesz uruchomić adapter dostrajania w terminalu, tak jak to + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -oraz uruchomić oryginalny model, aby porównać wyniki: +i uruchomić oryginalny model, aby porównać wyniki + ```bash @@ -135,9 +146,11 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -Możesz spróbować porównać wyniki dostrajania z oryginalnym modelem. +Możesz spróbować porównać wyniki dostrajania z oryginalnym modelem + + +## **4. Scal adaptery, aby wygenerować nowe modele** -## **4. Scalanie adapterów w celu wygenerowania nowych modeli** ```bash @@ -145,9 +158,10 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ``` -## **5. Uruchamianie skwantowanych modeli dostrajania za pomocą ollama** +## **5. Uruchamianie kwantyfikowanych modeli dostrajania za pomocą ollama** + +Przed użyciem skonfiguruj swoje środowisko llama.cpp -Przed użyciem skonfiguruj środowisko llama.cpp. ```bash @@ -161,13 +175,14 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***Uwaga:*** +***Uwaga:*** + +1. Obecnie obsługuje konwersję kwantyzacji fp32, fp16 i INT 8 -1. Obecnie obsługiwane są konwersje kwantyzacji fp32, fp16 oraz INT8. +2. Połączony model nie zawiera tokenizer.model, proszę pobrać go z https://huggingface.co/microsoft/Phi-3-mini-4k-instruct -2. Scalony model nie zawiera pliku tokenizer.model, pobierz go z https://huggingface.co/microsoft/Phi-3-mini-4k-instruct +ustaw [Ollma Model](https://ollama.com/) -Ustaw [Ollama Model](https://ollama.com/) ```txt @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -Uruchom polecenie w terminalu: +uruchom polecenie w terminalu + ```bash @@ -186,7 +202,11 @@ Uruchom polecenie w terminalu: ``` -Gratulacje! Opanowałeś dostrajanie z MLX Framework. +Gratulacje! Opanowałeś dostrajanie z MLX Framework + +--- -**Zastrzeżenie**: -Niniejszy dokument został przetłumaczony przy użyciu usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Chociaż dokładamy starań, aby tłumaczenie było jak najbardziej precyzyjne, prosimy mieć na uwadze, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w języku źródłowym należy traktować jako źródło autorytatywne. W przypadku informacji o kluczowym znaczeniu zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z korzystania z tego tłumaczenia. \ No newline at end of file + +**Zastrzeżenie**: +Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI [Co-op Translator](https://github.com/Azure/co-op-translator). Choć dążymy do dokładności, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub niedokładności. Oryginalny dokument w jego języku źródłowym należy uznawać za autorytatywne źródło. W przypadku informacji krytycznych zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia. + \ No newline at end of file diff --git a/translations/pt-BR/.co-op-translator.json b/translations/pt-BR/.co-op-translator.json index dce9bb75e..c44a6d2a7 100644 --- a/translations/pt-BR/.co-op-translator.json +++ b/translations/pt-BR/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:19:34+00:00", + "translation_date": "2026-07-29T18:03:37+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "pt-BR" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:42:34+00:00", + "translation_date": "2026-07-29T18:04:25+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "pt-BR" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:59:47+00:00", + "translation_date": "2026-07-29T18:03:56+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "pt-BR" }, diff --git a/translations/pt-BR/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/pt-BR/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index ff04f7d26..ea43223fc 100644 --- a/translations/pt-BR/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/pt-BR/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Como usar o Model Builder para quantizar Phi-3.5** +# **Quantizando a Família Phi usando extensões de IA Generativa para onnxruntime** -O Model Builder agora suporta a quantização de modelos ONNX para Phi-3.5 Instruct e Phi-3.5-Vision +## **O que são extensões de IA Generativa para onnxruntime** + +Essas extensões ajudam você a executar IA generativa com o ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Elas fornecem o loop de IA generativa para modelos ONNX, incluindo inferência com ONNX Runtime, processamento de logits, busca e amostragem, e gerenciamento de cache KV. Desenvolvedores podem chamar um método de alto nível generate(), ou executar cada iteração do modelo em um loop, gerando um token por vez e, opcionalmente, atualizando parâmetros de geração dentro do loop. Suporta busca gulosa/beam e amostragem TopP, TopK para gerar sequências de tokens, e processamento de logits embutido como penalidades de repetição. Você também pode facilmente adicionar pontuação personalizada. + +No nível da aplicação, você pode usar as extensões de IA Generativa para onnxruntime para construir aplicações usando C++ / C# / Python. No nível do modelo, você pode usá-las para mesclar modelos ajustados e realizar trabalho quantitativo relacionado ao deployment. + + +## **Quantizando Phi-3.5 com extensões de IA Generativa para onnxruntime** + +### **Modelos suportados** + +As extensões de IA Generativa para onnxruntime suportam conversão de quantização dos modelos Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Construtor de Modelo nas extensões de IA Generativa para onnxruntime** + +O construtor de modelo acelera significativamente a criação de modelos ONNX otimizados e quantizados que rodem com a API generate() do ONNX Runtime. + +Através do Construtor de Modelo, você pode quantizar o modelo para INT4, INT8, FP16, FP32, e combinar diferentes métodos de aceleração de hardware como CPU, CUDA, DirectML, Mobile, etc. + +Para usar o Construtor de Modelo você precisa instalar + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Após a instalação, você pode executar o script do Construtor de Modelo pelo terminal para realizar a conversão de formato e quantização do modelo. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Entenda os parâmetros relevantes + +1. **model_name** Este é o modelo no Hugging Face, como microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. Também pode ser o caminho onde você armazena o modelo + +2. **path_to_output_folder** Caminho para salvar a conversão quantizada + +3. **execution_provider** Suporte a diferentes acelerações de hardware, como cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Local onde o modelo baixado do Hugging Face é cacheado localmente + + + + +***Nota:*** + +## **Como usar o Construtor de Modelo para quantizar Phi-3.5** + +O Construtor de Modelo atualmente suporta quantização do modelo ONNX para Phi-3.5 Instruct e Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Conversão acelerada por CPU para INT4 quantizado** + +**Conversão acelerada por CPU do quantizado INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Conversão acelerada por CUDA para INT4 quantizado** +**Conversão acelerada por CUDA do quantizado INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Baixe microsoft/Phi-3.5-vision-instruct na pasta models +2. Baixe microsoft/Phi-3.5-vision-instruct na pasta models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Por favor, baixe estes arquivos para a sua pasta Phi-3.5-vision-instruct +3. Por favor, baixe esses arquivos para sua pasta Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Baixe este arquivo para a pasta models + +4. Baixe este arquivo para a pasta models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Vá para o terminal Converta o suporte ONNX com FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` + ### **Nota:** -1. O Model Builder atualmente suporta a conversão do Phi-3.5-Instruct e Phi-3.5-Vision, mas não do Phi-3.5-MoE +1. O Construtor de Modelo atualmente suporta a conversão de Phi-3.5-Instruct e Phi-3.5-Vision, mas não Phi-3.5-MoE -2. Para usar o modelo quantizado do ONNX, você pode utilizá-lo através do SDK Generative AI extensions for onnxruntime +2. Para usar o modelo quantizado do ONNX, você pode usá-lo através do SDK das extensões de IA Generativa para onnxruntime -3. Precisamos considerar uma IA mais responsável, então após a conversão da quantização do modelo, é recomendado realizar testes mais eficazes dos resultados +3. Precisamos considerar IA responsável, então após a conversão de quantização do modelo, é recomendado realizar testes mais eficazes dos resultados + +4. Quantizando o modelo CPU INT4, podemos implantá-lo em dispositivos Edge, que têm melhores cenários de aplicação, por isso completamos Phi-3.5-Instruct em torno do INT 4 -4. Ao quantizar o modelo CPU INT4, podemos implantá-lo em dispositivos Edge, que possuem cenários de aplicação melhores, por isso completamos o Phi-3.5-Instruct em torno do INT4 ## **Recursos** -1. Saiba mais sobre Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Saiba mais sobre extensões de IA Generativa para onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repositório GitHub das extensões de IA Generativa para onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repositório GitHub do Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Aviso Legal**: -Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução. \ No newline at end of file + +**Aviso Legal**: +Este documento foi traduzido usando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução. + \ No newline at end of file diff --git a/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index f46301bf8..c9c23bf16 100644 --- a/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Guia para OnnxRuntime GenAI Windows GPU** +# **Diretriz para OnnxRuntime GenAI Windows GPU** -Este guia fornece os passos para configurar e usar o ONNX Runtime (ORT) com GPUs no Windows. Ele foi criado para ajudar você a aproveitar a aceleração por GPU em seus modelos, melhorando desempenho e eficiência. +Esta diretriz fornece passos para configurar e usar o ONNX Runtime (ORT) com GPUs no Windows. Ela é projetada para ajudá-lo a aproveitar a aceleração por GPU para seus modelos, melhorando desempenho e eficiência. -O documento traz orientações sobre: +O documento oferece orientação sobre: - Configuração do Ambiente: Instruções para instalar as dependências necessárias como CUDA, cuDNN e ONNX Runtime. -- Configuração: Como ajustar o ambiente e o ONNX Runtime para utilizar os recursos da GPU de forma eficaz. -- Dicas de Otimização: Recomendações para ajustar as configurações da GPU para obter o melhor desempenho. +- Configuração: Como configurar o ambiente e o ONNX Runtime para utilizar recursos da GPU de forma eficaz. +- Dicas de Otimização: Conselhos sobre como ajustar suas configurações de GPU para desempenho ótimo. ### **1. Python 3.10.x /3.11.8** - ***Nota*** Recomendamos usar [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) como seu ambiente Python + ***Nota*** Sugere-se usar [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) como seu ambiente Python ```bash @@ -20,10 +20,11 @@ O documento traz orientações sobre: ``` - ***Lembrete*** Se você instalou alguma biblioteca ONNX para Python, por favor desinstale + ***Lembrete*** Se tiver instalado alguma biblioteca Python relacionada ao ONNX, por favor desinstale-a ### **2. Instalar CMake com winget** + ```bash winget install -e --id Kitware.CMake @@ -32,10 +33,11 @@ O documento traz orientações sobre: ### **3. Instalar Visual Studio 2022 - Desenvolvimento Desktop com C++** - ***Nota*** Se você não quiser compilar, pode pular esta etapa + ***Nota*** Se não quiser compilar, pode pular esta etapa ![CPP](../../../../../../translated_images/pt-BR/01.42f52a2b2aedff02.webp) + ### **4. Instalar Driver NVIDIA** 1. **Driver NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ O documento traz orientações sobre: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Lembrete*** Use as configurações padrão durante a instalação +***Lembrete*** Por favor, use as configurações padrão no fluxo de instalação ### **5. Configurar Ambiente NVIDIA** -Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respectivas pastas do NVIDIA CUDA 12.4 +Copie as pastas lib, bin, include do NVIDIA CUDNN 9.4 para NVIDIA CUDA 12.4 lib, bin, include -- copie os arquivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- copie os arquivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- copie os arquivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- copie os arquivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- copie os arquivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- copie os arquivos de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Baixar Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respectivas pasta ### **7. Executar InferencePhi35Instruct.ipynb** - Abra o [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) e execute + Abra o [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) e execute + + +![RESULTADO](../../../../../../translated_images/pt-BR/02.b9b06996cf7255d5.webp) -![RESULT](../../../../../../translated_images/pt-BR/02.b9b06996cf7255d5.webp) ### **8. Compilar ORT GenAI GPU** + ***Nota*** - 1. Por favor, desinstale todas as bibliotecas relacionadas a onnx, onnxruntime e onnxruntime-genai antes de começar + 1. Por favor, desinstale todas as bibliotecas relacionadas a onnx, onnxruntime e onnxruntime-genai primeiro + ```bash pip list ``` - Depois, desinstale todas as bibliotecas onnxruntime, por exemplo: + Depois desinstale todas as bibliotecas onnxruntime, por exemplo + ```bash @@ -100,13 +109,17 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respectivas pasta ``` - 2. Verifique o suporte da extensão do Visual Studio + 2. Verifique o suporte da Extensão do Visual Studio - Confira a pasta C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras para garantir que a pasta C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration esteja presente. + Verifique se em C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras existe a pasta C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Se não encontrar, verifique outras pastas do driver do toolkit CUDA e copie a pasta visual_studio_integration e seu conteúdo para C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Se não for encontrada, verifique outras pastas do toolkit Cuda e copie a pasta visual_studio_integration e seus conteúdos para C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Se não quiser compilar, pode pular esta etapa - - Se você não quiser compilar, pode pular esta etapa ```bash @@ -116,14 +129,15 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respectivas pasta - Baixe [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Descompacte onnxruntime-win-x64-gpu-1.19.2.zip, renomeie para **ort** e copie a pasta ort para onnxruntime-genai + - Descompacte onnxruntime-win-x64-gpu-1.19.2.zip e renomeie para **ort**, copie a pasta ort para onnxruntime-genai - - Usando o Windows Terminal, abra o Developer Command Prompt para VS 2022 e navegue até onnxruntime-genai + - Usando o Windows Terminal, acesse o Prompt de Comando para Desenvolvedores do VS 2022 e vá para onnxruntime-genai -![RESULT](../../../../../../translated_images/pt-BR/03.b83ce473d5ff9b9b.webp) +![RESULTADO](../../../../../../translated_images/pt-BR/03.b83ce473d5ff9b9b.webp) - - Compile usando seu ambiente Python + - Compile com seu ambiente Python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respectivas pasta ``` -**Aviso Legal**: -Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução. \ No newline at end of file +--- + + +**Aviso Legal**: +Este documento foi traduzido usando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução. + \ No newline at end of file diff --git a/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 8fdc9f680..4bd15959d 100644 --- a/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/pt-BR/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,54 +1,54 @@ -# Usando GPU Windows para criar solução Prompt flow com Phi-3.5-Instruct ONNX +# Usando GPU do Windows para criar solução Prompt flow com Phi-3.5-Instruct ONNX -O documento a seguir é um exemplo de como usar PromptFlow com ONNX (Open Neural Network Exchange) para desenvolver aplicações de IA baseadas nos modelos Phi-3. +O seguinte documento é um exemplo de como usar PromptFlow com ONNX (Open Neural Network Exchange) para desenvolver aplicações de IA baseadas em modelos Phi-3. PromptFlow é um conjunto de ferramentas de desenvolvimento projetado para simplificar o ciclo completo de desenvolvimento de aplicações de IA baseadas em LLM (Large Language Model), desde a ideação e prototipagem até os testes e avaliação. Ao integrar PromptFlow com ONNX, os desenvolvedores podem: -- Otimizar o desempenho do modelo: aproveitar o ONNX para inferência e implantação eficiente do modelo. -- Simplificar o desenvolvimento: usar PromptFlow para gerenciar o fluxo de trabalho e automatizar tarefas repetitivas. -- Melhorar a colaboração: facilitar a colaboração entre membros da equipe ao fornecer um ambiente de desenvolvimento unificado. +- Otimizar o desempenho do modelo: Aproveitar o ONNX para uma inferência e implantação eficiente do modelo. +- Simplificar o desenvolvimento: Usar PromptFlow para gerenciar o fluxo de trabalho e automatizar tarefas repetitivas. +- Melhorar a colaboração: Facilitar uma melhor colaboração entre os membros da equipe, fornecendo um ambiente de desenvolvimento unificado. -**Prompt flow** é um conjunto de ferramentas de desenvolvimento projetado para simplificar o ciclo completo de desenvolvimento de aplicações de IA baseadas em LLM, desde ideação, prototipagem, testes, avaliação até implantação em produção e monitoramento. Ele torna a engenharia de prompts muito mais fácil e permite construir aplicações LLM com qualidade de produção. +**Prompt flow** é um conjunto de ferramentas de desenvolvimento projetado para simplificar o ciclo completo de desenvolvimento de aplicações de IA baseadas em LLM, desde ideação, prototipagem, testes, avaliação até implantação em produção e monitoramento. Ele torna a engenharia de prompt muito mais fácil e permite construir apps LLM com qualidade de produção. -Prompt flow pode se conectar ao OpenAI, Azure OpenAI Service e modelos personalizáveis (Huggingface, LLM/SLM local). Nosso objetivo é implantar o modelo ONNX quantizado do Phi-3.5 em aplicações locais. O Prompt flow pode nos ajudar a planejar melhor nossos negócios e completar soluções locais baseadas no Phi-3.5. Neste exemplo, combinaremos a Biblioteca ONNX Runtime GenAI para completar a solução Prompt flow baseada em GPU Windows. +O Prompt flow pode se conectar ao OpenAI, Azure OpenAI Service, e modelos personalizáveis (Huggingface, LLM/SLM locais). Esperamos implantar o modelo ONNX quantizado do Phi-3.5 em aplicações locais. O Prompt flow pode nos ajudar a planejar melhor nosso negócio e completar soluções locais baseadas no Phi-3.5. Neste exemplo, combinaremos a Biblioteca ONNX Runtime GenAI para completar a solução Prompt flow baseada em GPU do Windows. ## **Instalação** -### **ONNX Runtime GenAI para GPU Windows** +### **ONNX Runtime GenAI para GPU do Windows** -Leia este guia para configurar o ONNX Runtime GenAI para GPU Windows [clique aqui](./ORTWindowGPUGuideline.md) +Leia esta diretriz para configurar o ONNX Runtime GenAI para GPU do Windows [clique aqui](./ORTWindowGPUGuideline.md) -### **Configurar Prompt flow no VSCode** +### **Configure o Prompt flow no VSCode** 1. Instale a extensão Prompt flow para VS Code ![pfvscode](../../../../../../translated_images/pt-BR/pfvscode.eff93dfc66a42cbe.webp) -2. Após instalar a extensão Prompt flow para VS Code, clique na extensão e escolha **Installation dependencies** para seguir o guia e instalar o SDK do Prompt flow no seu ambiente +2. Após instalar a extensão Prompt flow para VS Code, clique na extensão e escolha **Installation dependencies** e siga esta diretriz para instalar o SDK do Prompt flow no seu ambiente ![pfsetup](../../../../../../translated_images/pt-BR/pfsetup.b46e93096f5a254f.webp) -3. Baixe o [Código de Exemplo](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) e abra este exemplo no VS Code +3. Baixe o [Código de Exemplo](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) e use o VS Code para abrir este exemplo ![pfsample](../../../../../../translated_images/pt-BR/pfsample.8d89e70584ffe7c4.webp) -4. Abra o arquivo **flow.dag.yaml** para escolher seu ambiente Python +4. Abra **flow.dag.yaml** para escolher seu ambiente Python ![pfdag](../../../../../../translated_images/pt-BR/pfdag.264a77f7366458ff.webp) - Abra o arquivo **chat_phi3_ort.py** para alterar o local do seu modelo Phi-3.5-instruct ONNX + Abra **chat_phi3_ort.py** para alterar a localização do seu modelo Phi-3.5-instruct ONNX ![pfphi](../../../../../../translated_images/pt-BR/pfphi.72da81d74244b45f.webp) 5. Execute seu prompt flow para testar -Abra o **flow.dag.yaml** e clique no editor visual +Abra **flow.dag.yaml** e clique no editor visual ![pfv](../../../../../../translated_images/pt-BR/pfv.ba8a81f34b20f603.webp) -Após clicar, execute para testar +após clicar aqui, execute para testar ![pfflow](../../../../../../translated_images/pt-BR/pfflow.4e1135a089b1ce1b.webp) @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Você pode conferir os resultados no seu navegador padrão +Você pode verificar os resultados no seu navegador padrão ![pfresult](../../../../../../translated_images/pt-BR/pfresult.c22c826f8062d7cb.webp) -**Aviso Legal**: -Este documento foi traduzido utilizando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução. \ No newline at end of file +--- + + +**Aviso Legal**: +Este documento foi traduzido usando o serviço de tradução por IA [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução. + \ No newline at end of file diff --git a/translations/pt-PT/.co-op-translator.json b/translations/pt-PT/.co-op-translator.json index 1e793a53d..96eada321 100644 --- a/translations/pt-PT/.co-op-translator.json +++ b/translations/pt-PT/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:19:16+00:00", + "translation_date": "2026-07-29T18:01:52+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "pt-PT" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:42:19+00:00", + "translation_date": "2026-07-29T18:02:59+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "pt-PT" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:59:38+00:00", + "translation_date": "2026-07-29T18:02:10+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "pt-PT" }, diff --git a/translations/pt-PT/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/pt-PT/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 9c8eda407..bfb44599a 100644 --- a/translations/pt-PT/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/pt-PT/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Como usar o Model Builder para quantizar Phi-3.5** +# **Quantização da Família Phi usando extensões de IA Generativa para onnxruntime** -O Model Builder suporta agora a quantização de modelos ONNX para Phi-3.5 Instruct e Phi-3.5-Vision +## **O que são as extensões de IA Generativa para onnxruntime** + +Estas extensões ajudam a executar IA generativa com ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Fornecem o ciclo de IA generativa para modelos ONNX, incluindo inferência com ONNX Runtime, processamento de logits, pesquisa e amostragem, e gestão do cache KV. Os desenvolvedores podem chamar um método de alto nível generate(), ou executar cada iteração do modelo numa loop, gerando um token de cada vez, e opcionalmente atualizando parâmetros de geração dentro do ciclo. Suportam busca gulosa/beam e amostragem TopP, TopK para gerar sequências de tokens e processamento de logits incorporado como penalizações de repetição. Também pode adicionar facilmente pontuações personalizadas. + +Ao nível da aplicação, pode usar as extensões de IA Generativa para onnxruntime para construir aplicações usando C++/ C# / Python. Ao nível do modelo, pode usá-las para fundir modelos afinados e realizar trabalhos relacionados com implantação quantitativa. + + +## **Quantização do Phi-3.5 com as extensões de IA Generativa para onnxruntime** + +### **Modelos Suportados** + +As extensões de IA Generativa para onnxruntime suportam conversão de quantização dos modelos Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Construtor de Modelos nas extensões de IA Generativa para onnxruntime** + +O construtor de modelos acelera bastante a criação de modelos ONNX otimizados e quantizados que correm com a API generate() do ONNX Runtime. + +Através do Construtor de Modelos, pode quantizar o modelo para INT4, INT8, FP16, FP32, e combinar diferentes métodos de aceleração de hardware como CPU, CUDA, DirectML, Mobile, etc. + +Para usar o Construtor de Modelos precisa de instalar + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Após a instalação, pode executar o script do Construtor de Modelos a partir do terminal para realizar a conversão do formato e quantização do modelo. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Compreenda os parâmetros relevantes + +1. **model_name** Este é o modelo no Hugging face, como microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. Pode também ser o caminho onde guarda o modelo + +2. **path_to_output_folder** Caminho onde é guardada a conversão quantizada + +3. **execution_provider** Suporte a diferentes acelerações de hardware, como cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Nós descarregamos o modelo do Hugging face e fazemos cache localmente + + + + +***Nota：*** + +## **Como usar o Construtor de Modelos para quantizar Phi-3.5** + +O Construtor de Modelos suporta agora a quantização de modelos ONNX para Phi-3.5 Instruct e Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Conversão acelerada por CPU para INT4 quantizado** + +**Conversão acelerada por CPU de INT4 quantizado** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Conversão acelerada por CUDA para INT4 quantizado** +**Conversão acelerada por CUDA de INT4 quantizado** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Faça o download do microsoft/Phi-3.5-vision-instruct na pasta models +2. Descarregue microsoft/Phi-3.5-vision-instruct na pasta models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Por favor, faça o download destes ficheiros para a sua pasta Phi-3.5-vision-instruct +3. Por favor, descarregue estes ficheiros para a sua pasta Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Faça o download deste ficheiro para a pasta models + +4. Descarregue este ficheiro para a pasta models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Vá ao terminal Converter suporte ONNX com FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **Nota:** -1. O Model Builder suporta atualmente a conversão de Phi-3.5-Instruct e Phi-3.5-Vision, mas não Phi-3.5-MoE +### **Nota：** + +1. O Construtor de Modelos suporta atualmente a conversão de Phi-3.5-Instruct e Phi-3.5-Vision, mas não Phi-3.5-MoE -2. Para usar o modelo quantizado ONNX, pode fazê-lo através do SDK Generative AI extensions for onnxruntime +2. Para usar o modelo quantizado ONNX, pode utilizá-lo através do SDK das extensões de IA Generativa para onnxruntime -3. Devemos considerar uma IA mais responsável, por isso, após a conversão da quantização do modelo, recomenda-se realizar testes mais eficazes aos resultados +3. Precisamos de considerar uma IA mais responsável, por isso depois da conversão da quantização do modelo, recomenda-se realizar testes mais eficazes de resultados + +4. Ao quantizar o modelo CPU INT4, podemos implantá-lo em dispositivos Edge, que têm melhores cenários de aplicação, por isso completámos o Phi-3.5-Instruct em torno do INT4 -4. Ao quantizar o modelo CPU INT4, podemos implantá-lo em dispositivos Edge, que têm melhores cenários de aplicação, por isso concluímos a quantização de Phi-3.5-Instruct em INT4 ## **Recursos** -1. Saiba mais sobre Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Saiba mais sobre as extensões de IA Generativa para onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repositório GitHub das extensões de IA Generativa para onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repositório GitHub de Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Aviso Legal**: -Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor tenha em conta que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes da utilização desta tradução. \ No newline at end of file + +**Aviso Legal**: +Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes da utilização desta tradução. + \ No newline at end of file diff --git a/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 0e1079259..16f71abd2 100644 --- a/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Guia para OnnxRuntime GenAI Windows GPU** -Este guia fornece os passos para configurar e usar o ONNX Runtime (ORT) com GPUs no Windows. Foi criado para ajudar a tirar partido da aceleração por GPU nos seus modelos, melhorando o desempenho e a eficiência. +Este guia fornece passos para configurar e usar o ONNX Runtime (ORT) com GPUs no Windows. Foi concebido para ajudar a aproveitar a aceleração GPU para os seus modelos, melhorando o desempenho e a eficiência. -O documento orienta sobre: +O documento fornece orientações sobre: -- Configuração do Ambiente: Instruções para instalar as dependências necessárias como CUDA, cuDNN e ONNX Runtime. -- Configuração: Como configurar o ambiente e o ONNX Runtime para utilizar eficazmente os recursos da GPU. -- Dicas de Otimização: Conselhos para ajustar as definições da GPU para obter o melhor desempenho. +- Configuração do Ambiente: Instruções para instalar as dependências necessárias, como CUDA, cuDNN e ONNX Runtime. +- Configuração: Como configurar o ambiente e o ONNX Runtime para utilizar os recursos da GPU de forma eficaz. +- Dicas de Otimização: Conselhos sobre como ajustar as configurações da GPU para o desempenho ideal. ### **1. Python 3.10.x /3.11.8** - ***Nota*** Recomenda-se usar [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) como o seu ambiente Python + ***Nota*** Sugere-se usar [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) como o seu ambiente Python ```bash @@ -20,22 +20,24 @@ O documento orienta sobre: ``` - ***Lembrete*** Se tiver alguma biblioteca ONNX para Python instalada, por favor desinstale-a + ***Lembrete*** Se tiver alguma biblioteca Python ONNX instalada, por favor desinstale-a ### **2. Instalar CMake com winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Instalar Visual Studio 2022 - Desenvolvimento Desktop com C++** +### **3. Instalar Visual Studio 2022 - Desenvolvimento para Ambiente de Trabalho com C++** - ***Nota*** Se não quiser compilar, pode saltar este passo + ***Nota*** Se não quiser compilar pode saltar este passo ![CPP](../../../../../../translated_images/pt-PT/01.42f52a2b2aedff02.webp) + ### **4. Instalar Driver NVIDIA** 1. **Driver NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ O documento orienta sobre: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Lembrete*** Por favor, utilize as definições padrão durante a instalação +***Lembrete*** Por favor, use as definições predefinidas no processo de instalação -### **5. Configurar Ambiente NVIDIA** +### **5. Definir Ambiente NVIDIA** -Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respetivas pastas do NVIDIA CUDA 12.4 +Copiar as pastas lib, bin, include da NVIDIA CUDNN 9.4 para as respetivas pastas da NVIDIA CUDA 12.4 -- copie os ficheiros de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- copiar os ficheiros de *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- copie os ficheiros de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- copiar os ficheiros de *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- copiar os ficheiros de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- copie os ficheiros de *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* para *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Descarregar Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respetivas pastas ### **7. Executar InferencePhi35Instruct.ipynb** - Abra o [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) e execute + Abrir [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) e executar + + +![RESULTADO](../../../../../../translated_images/pt-PT/02.b9b06996cf7255d5.webp) -![RESULT](../../../../../../translated_images/pt-PT/02.b9b06996cf7255d5.webp) ### **8. Compilar ORT GenAI GPU** + ***Nota*** - 1. Por favor, desinstale todas as bibliotecas relacionadas com onnx, onnxruntime e onnxruntime-genai antes de começar + 1. Por favor, desinstale primeiro todas as bibliotecas relacionadas com onnx, onnxruntime e onnxruntime-genai + ```bash pip list ``` - Depois desinstale todas as bibliotecas onnxruntime, por exemplo: + Depois desinstale todas as bibliotecas onnxruntime, por exemplo + ```bash @@ -100,13 +109,17 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respetivas pastas ``` - 2. Verificar suporte da extensão do Visual Studio + 2. Verifique a extensão do Visual Studio - Verifique a pasta C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras para garantir que existe a pasta C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Verifique em C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras se encontra a pasta C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Se não existir, verifique noutras pastas do toolkit CUDA e copie a pasta visual_studio_integration e o seu conteúdo para C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Se não encontrar, verifique noutras pastas do driver da toolkit CUDA e copie a pasta visual_studio_integration e os seus conteúdos para C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Se não quiser compilar pode saltar este passo - - Se não quiser compilar, pode saltar este passo ```bash @@ -116,14 +129,15 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respetivas pastas - Descarregue [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Descompacte onnxruntime-win-x64-gpu-1.19.2.zip, renomeie a pasta para **ort** e copie a pasta ort para onnxruntime-genai + - Descompacte onnxruntime-win-x64-gpu-1.19.2.zip, renomeie para **ort**, copie a pasta ort para onnxruntime-genai - - Usando o Windows Terminal, abra o Developer Command Prompt para VS 2022 e navegue até onnxruntime-genai + - Usando o Windows Terminal, vá ao Developer Command Prompt para VS 2022 e navegue até onnxruntime-genai -![RESULT](../../../../../../translated_images/pt-PT/03.b83ce473d5ff9b9b.webp) +![RESULTADO](../../../../../../translated_images/pt-PT/03.b83ce473d5ff9b9b.webp) - - Compile com o seu ambiente Python + - Compile utilizando o seu ambiente python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Copie as pastas lib, bin e include do NVIDIA CUDNN 9.4 para as respetivas pastas ``` -**Aviso Legal**: -Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor tenha em conta que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações erradas decorrentes da utilização desta tradução. \ No newline at end of file +--- + + +**Aviso Legal**: +Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes da utilização desta tradução. + \ No newline at end of file diff --git a/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index cac211d3d..d3ee1730e 100644 --- a/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/pt-PT/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,54 +1,54 @@ -# Utilizar GPU Windows para criar solução Prompt flow com Phi-3.5-Instruct ONNX +# Utilizar Windows GPU para criar solução Prompt flow com Phi-3.5-Instruct ONNX -O documento seguinte é um exemplo de como usar o PromptFlow com ONNX (Open Neural Network Exchange) para desenvolver aplicações de IA baseadas em modelos Phi-3. +O documento seguinte é um exemplo de como usar PromptFlow com ONNX (Open Neural Network Exchange) para desenvolver aplicações de IA baseadas em modelos Phi-3. -PromptFlow é um conjunto de ferramentas de desenvolvimento concebido para simplificar o ciclo completo de desenvolvimento de aplicações de IA baseadas em LLM (Large Language Model), desde a ideação e prototipagem até aos testes e avaliação. +PromptFlow é um conjunto de ferramentas de desenvolvimento concebido para simplificar o ciclo de desenvolvimento completo de aplicações de IA baseadas em LLM (Large Language Model), desde a idealização e prototipagem até à testagem e avaliação. -Ao integrar o PromptFlow com ONNX, os programadores podem: +Ao integrar o PromptFlow com o ONNX, os desenvolvedores podem: -- Otimizar o desempenho do modelo: tirar partido do ONNX para uma inferência e implementação eficiente do modelo. -- Simplificar o desenvolvimento: usar o PromptFlow para gerir o fluxo de trabalho e automatizar tarefas repetitivas. -- Melhorar a colaboração: facilitar uma melhor colaboração entre os membros da equipa, fornecendo um ambiente de desenvolvimento unificado. +- Otimizar o desempenho do modelo: tirar partido do ONNX para inferência e implementação eficiente do modelo. +- Simplificar o desenvolvimento: utilizar PromptFlow para gerir o fluxo de trabalho e automatizar tarefas repetitivas. +- Melhorar a colaboração: facilitar melhor colaboração entre os membros da equipa ao fornecer um ambiente de desenvolvimento unificado. -**Prompt flow** é um conjunto de ferramentas de desenvolvimento concebido para simplificar o ciclo completo de desenvolvimento de aplicações de IA baseadas em LLM, desde a ideação, prototipagem, testes, avaliação até à implementação em produção e monitorização. Facilita muito a engenharia de prompts e permite construir aplicações LLM com qualidade de produção. +**Prompt flow** é um conjunto de ferramentas de desenvolvimento concebido para simplificar o ciclo de desenvolvimento completo de aplicações de IA baseadas em LLM, desde a idealização, prototipagem, testagem, avaliação até à implementação em produção e monitorização. Torna a engenharia de prompts muito mais fácil e permite-lhe construir aplicações LLM com qualidade de produção. -O Prompt flow pode ligar-se ao OpenAI, Azure OpenAI Service e modelos personalizáveis (Huggingface, LLM/SLM local). Pretendemos implementar o modelo ONNX quantizado do Phi-3.5 em aplicações locais. O Prompt flow pode ajudar-nos a planear melhor o nosso negócio e a completar soluções locais baseadas no Phi-3.5. Neste exemplo, vamos combinar a ONNX Runtime GenAI Library para completar a solução Prompt flow baseada em GPU Windows. +O Prompt flow pode ligar-se ao OpenAI, Azure OpenAI Service, e modelos personalizáveis (Huggingface, LLM/SLM local). Esperamos implementar o modelo ONNX quantizado do Phi-3.5 em aplicações locais. O Prompt flow pode ajudar-nos a planear melhor o nosso negócio e completar soluções locais baseadas no Phi-3.5. Neste exemplo, vamos combinar a Biblioteca ONNX Runtime GenAI para completar a solução Prompt flow baseada em Windows GPU. ## **Instalação** -### **ONNX Runtime GenAI para GPU Windows** +### **ONNX Runtime GenAI para Windows GPU** -Leia esta orientação para configurar o ONNX Runtime GenAI para GPU Windows [clicar aqui](./ORTWindowGPUGuideline.md) +Leia esta orientação para configurar o ONNX Runtime GenAI para Windows GPU [clique aqui](./ORTWindowGPUGuideline.md) ### **Configurar Prompt flow no VSCode** -1. Instale a extensão Prompt flow para VS Code +1. Instale a Extensão Prompt flow VS Code ![pfvscode](../../../../../../translated_images/pt-PT/pfvscode.eff93dfc66a42cbe.webp) -2. Após instalar a extensão Prompt flow para VS Code, clique na extensão e escolha **Installation dependencies** seguindo esta orientação para instalar o SDK do Prompt flow no seu ambiente +2. Após instalar a Extensão Prompt flow VS Code, clique na extensão e escolha **Installation dependencies** e siga esta orientação para instalar o SDK do Prompt flow no seu ambiente ![pfsetup](../../../../../../translated_images/pt-PT/pfsetup.b46e93096f5a254f.webp) -3. Descarregue o [Código de Exemplo](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) e abra este exemplo no VS Code +3. Descarregue o [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) e utilize o VS Code para abrir este exemplo ![pfsample](../../../../../../translated_images/pt-PT/pfsample.8d89e70584ffe7c4.webp) -4. Abra o ficheiro **flow.dag.yaml** para escolher o seu ambiente Python +4. Abra o **flow.dag.yaml** para escolher o seu ambiente Python ![pfdag](../../../../../../translated_images/pt-PT/pfdag.264a77f7366458ff.webp) - Abra o ficheiro **chat_phi3_ort.py** para alterar a localização do seu modelo Phi-3.5-instruct ONNX + Abra o **chat_phi3_ort.py** para alterar a localização do seu Modelo Phi-3.5-instruct ONNX ![pfphi](../../../../../../translated_images/pt-PT/pfphi.72da81d74244b45f.webp) 5. Execute o seu prompt flow para testar -Abra o ficheiro **flow.dag.yaml** e clique no editor visual +Abra o **flow.dag.yaml** e clique no editor visual ![pfv](../../../../../../translated_images/pt-PT/pfv.ba8a81f34b20f603.webp) -Depois de clicar, execute para testar +depois de clicar nisto, execute para testar ![pfflow](../../../../../../translated_images/pt-PT/pfflow.4e1135a089b1ce1b.webp) @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Pode consultar os resultados no seu browser predefinido +Pode verificar os resultados no seu navegador pré-definido ![pfresult](../../../../../../translated_images/pt-PT/pfresult.c22c826f8062d7cb.webp) -**Aviso Legal**: -Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, por favor tenha em conta que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes da utilização desta tradução. \ No newline at end of file +--- + + +**Aviso Legal**: +Este documento foi traduzido utilizando o serviço de tradução automática [Co-op Translator](https://github.com/Azure/co-op-translator). Embora nos esforcemos pela precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes da utilização desta tradução. + \ No newline at end of file diff --git a/translations/ro/.co-op-translator.json b/translations/ro/.co-op-translator.json index a165437f3..8fc37b646 100644 --- a/translations/ro/.co-op-translator.json +++ b/translations/ro/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:25:54+00:00", + "translation_date": "2026-07-29T18:23:05+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ro" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:47:12+00:00", + "translation_date": "2026-07-29T18:23:55+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ro" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:03:38+00:00", + "translation_date": "2026-07-29T18:23:32+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ro" }, diff --git a/translations/ro/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ro/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 017a33665..ef7247ef6 100644 --- a/translations/ro/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ro/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Cum să folosești Model Builder pentru cuantizarea Phi-3.5** +# **Cuantificarea Familiei Phi folosind extensii Generative AI pentru onnxruntime** -Model Builder suportă acum cuantizarea modelelor ONNX pentru Phi-3.5 Instruct și Phi-3.5-Vision +## **Ce sunt extensiile Generative AI pentru onnxruntime** + +Aceste extensii vă ajută să rulați AI generativ cu ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Ele oferă bucla AI generativă pentru modelele ONNX, inclusiv inferența cu ONNX Runtime, procesarea logits, căutarea și eșantionarea, și gestionarea cache-ului KV. Dezvoltatorii pot apela metoda de nivel înalt generate(), sau pot rula fiecare iterație a modelului într-o buclă, generând câte un token pe rând, și opțional actualizând parametrii de generare în interiorul buclei. Are suport pentru căutare greedy/beam și eșantionare TopP, TopK pentru a genera secvențe de tokeni, precum și procesare încorporată a logits precum penalizări pentru repetiție. De asemenea, puteți adăuga cu ușurință scorare personalizată. + +La nivelul aplicației, puteți folosi extensiile Generative AI pentru onnxruntime pentru a construi aplicații folosind C++/ C# / Python. La nivelul modelului, le puteți folosi pentru a combina modele ajustate fin și pentru a realiza lucrări conexe de implementare cantitativă. + + +## **Cuantificarea Phi-3.5 cu extensiile Generative AI pentru onnxruntime** + +### **Modele suportate** + +Extensiile Generative AI pentru onnxruntime suportă conversia cu cuantificare a Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Constructorul de modele în extensiile Generative AI pentru onnxruntime** + +Constructorul de modele accelerează considerabil crearea modelelor ONNX optimizate și cuantificate care rulează cu API-ul generate() al ONNX Runtime. + +Prin Constructorul de modele, puteți cuantifica modelul la INT4, INT8, FP16, FP32 și combina diferite metode de accelerare hardware precum CPU, CUDA, DirectML, Mobile, etc. + +Pentru a folosi Constructorul de modele trebuie să instalați + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +După instalare, puteți rula scriptul Constructor de modele din terminal pentru a efectua conversia formatului modelului și cuantificarea. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Înțelegeți parametrii relevanți + +1. **model_name** Acesta este modelul de pe Hugging face, cum ar fi microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. Poate fi de asemenea calea unde stocați modelul. + +2. **path_to_output_folder** Calea de salvare a conversiei cuantificate + +3. **execution_provider** Suport pentru diferite accelerări hardware, cum ar fi cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Descărcăm modelul de pe Hugging face și îl stocăm în cache local + + + + +***Notă：*** + +## **Cum să folosiți Constructorul de modele pentru cuantificarea Phi-3.5** + +Constructorul de modele suportă acum cuantificarea modelelor ONNX pentru Phi-3.5 Instruct și Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Conversie accelerată pe CPU pentru cuantizarea INT4** + +**Conversie accelerată CPU a cuantificării INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Conversie accelerată pe CUDA pentru cuantizarea INT4** +**Conversie accelerată CUDA a cuantificării INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Configurează mediul în terminal +1. Setați mediul în terminal ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Descarcă microsoft/Phi-3.5-vision-instruct în folderul models +2. Descărcați microsoft/Phi-3.5-vision-instruct în folderul models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Te rugăm să descarci aceste fișiere în folderul tău Phi-3.5-vision-instruct +3. Vă rugăm să descărcați aceste fișiere în folderul Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Descarcă acest fișier în folderul models + +4. Descărcați acest fișier în folderul models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Accesează terminalul +5. Mergeți la terminal + +Convertiți suportul ONNX cu FP32 - Convertește suportul ONNX cu FP32 ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Notă:** -1. Model Builder suportă în prezent conversia pentru Phi-3.5-Instruct și Phi-3.5-Vision, dar nu și pentru Phi-3.5-MoE +### **Notă：** + +1. Constructorul de modele suportă în prezent conversia Phi-3.5-Instruct și Phi-3.5-Vision, dar nu și Phi-3.5-MoE -2. Pentru a folosi modelul cuantizat ONNX, îl poți utiliza prin SDK-ul Generative AI extensions for onnxruntime +2. Pentru a folosi modelul cuantificat ONNX, îl puteți utiliza prin SDK-ul extensiilor Generative AI pentru onnxruntime -3. Trebuie să avem în vedere un AI mai responsabil, așa că după conversia modelului prin cuantizare, este recomandat să se efectueze teste mai eficiente ale rezultatelor +3. Trebuie să avem o responsabilitate crescută față de AI, deci după conversia prin cuantificare a modelului, este recomandat să efectuați teste mai eficiente ale rezultatelor + +4. Prin cuantificarea modelului CPU INT4, îl putem implementa pe dispozitive Edge, care au scenarii de aplicare mai bune, astfel am finalizat Phi-3.5-Instruct în jurul INT 4 -4. Prin cuantizarea modelului CPU INT4, îl putem implementa pe dispozitive Edge, care oferă scenarii de aplicare mai bune, astfel am finalizat Phi-3.5-Instruct în jurul INT4 ## **Resurse** -1. Află mai multe despre Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Aflați mai multe despre extensiile Generative AI pentru onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Repozitoriu GitHub pentru extensiile Generative AI pentru onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Repozitoriu GitHub Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Declinare de responsabilitate**: -Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). Deși ne străduim pentru acuratețe, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă trebuie considerat sursa autorizată. Pentru informații critice, se recomandă traducerea profesională realizată de un specialist uman. Nu ne asumăm răspunderea pentru eventualele neînțelegeri sau interpretări greșite rezultate din utilizarea acestei traduceri. \ No newline at end of file + +**Declinare a responsabilității**: +Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). În timp ce ne străduim pentru acuratețe, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă trebuie considerat sursa autorizată. Pentru informații critice, se recomandă traducerea profesională realizată de un om. Nu ne asumăm responsabilitatea pentru eventualele neînțelegeri sau interpretări greșite care decurg din utilizarea acestei traduceri. + \ No newline at end of file diff --git a/translations/ro/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ro/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index e8f5879f9..348881631 100644 --- a/translations/ro/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ro/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Ghid pentru OnnxRuntime GenAI Windows GPU** -Acest ghid oferă pașii pentru configurarea și utilizarea ONNX Runtime (ORT) cu GPU-uri pe Windows. Este conceput pentru a te ajuta să profiți de accelerarea GPU pentru modelele tale, îmbunătățind performanța și eficiența. +Acest ghid oferă pași pentru configurarea și utilizarea ONNX Runtime (ORT) cu GPU-uri pe Windows. Este conceput pentru a te ajuta să valorifici accelerarea GPU pentru modelele tale, îmbunătățind performanța și eficiența. -Documentul oferă îndrumări privind: +Documentul oferă îndrumări despre: - Configurarea mediului: Instrucțiuni pentru instalarea dependențelor necesare precum CUDA, cuDNN și ONNX Runtime. -- Configurarea: Cum să configurezi mediul și ONNX Runtime pentru a utiliza eficient resursele GPU. +- Configurare: Cum să configurezi mediul și ONNX Runtime pentru a utiliza eficient resursele GPU. - Sfaturi de optimizare: Recomandări pentru ajustarea setărilor GPU pentru performanță optimă. ### **1. Python 3.10.x /3.11.8** - ***Note*** Se recomandă utilizarea [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) ca mediu Python + ***Notă*** Se recomandă folosirea [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) ca mediu Python ```bash @@ -20,10 +20,11 @@ Documentul oferă îndrumări privind: ``` - ***Reminder*** Dacă ai instalat vreo bibliotecă ONNX pentru Python, te rugăm să o dezinstalezi + ***Reamintire*** Dacă ai instalat vreo bibliotecă Python ONNX, te rog să o dezinstalezi ### **2. Instalare CMake cu winget** + ```bash winget install -e --id Kitware.CMake @@ -32,23 +33,24 @@ Documentul oferă îndrumări privind: ### **3. Instalare Visual Studio 2022 - Desktop Development cu C++** - ***Note*** Dacă nu dorești să compilezi, poți sări peste acest pas + ***Notă*** Dacă nu dorești să compilezi, poți sări peste acest pas ![CPP](../../../../../../translated_images/ro/01.42f52a2b2aedff02.webp) -### **4. Instalare driver NVIDIA** -1. **Driver NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. Instalare Driver NVIDIA** + +1. **Driver GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Te rugăm să folosești setările implicite în timpul instalării +***Reamintire*** Te rugăm să folosești setările implicite în fluxul de instalare -### **5. Configurare mediu NVIDIA** +### **5. Setare mediu NVIDIA** -Copiază fișierele lib, bin, include din NVIDIA CUDNN 9.4 în folderele corespunzătoare din NVIDIA CUDA 12.4 +Copiază bibliotecile lib, bin, include de la NVIDIA CUDNN 9.4 la NVIDIA CUDA 12.4 lib, bin, include - copiază fișierele din *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* în *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* @@ -56,8 +58,10 @@ Copiază fișierele lib, bin, include din NVIDIA CUDNN 9.4 în folderele corespu - copiază fișierele din *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* în *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* + ### **6. Descarcă Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Copiază fișierele lib, bin, include din NVIDIA CUDNN 9.4 în folderele corespu ### **7. Rularea InferencePhi35Instruct.ipynb** - Deschide [Notebook-ul](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) și execută-l + Deschide [Notebook-ul](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) și execută + + +![RESULTAT](../../../../../../translated_images/ro/02.b9b06996cf7255d5.webp) -![RESULT](../../../../../../translated_images/ro/02.b9b06996cf7255d5.webp) ### **8. Compilare ORT GenAI GPU** - ***Note*** + + ***Notă*** - 1. Te rugăm să dezinstalezi mai întâi toate pachetele legate de onnx, onnxruntime și onnxruntime-genai + 1. Te rugăm să dezinstalezi toate pachetele onnx, onnxruntime și onnxruntime-genai mai întâi + ```bash pip list ``` - Apoi dezinstalează toate bibliotecile onnxruntime, de exemplu: + Apoi dezinstalează toate bibliotecile onnxruntime, de ex. + ```bash @@ -100,14 +109,18 @@ Copiază fișierele lib, bin, include din NVIDIA CUDNN 9.4 în folderele corespu ``` - 2. Verifică suportul extensiei Visual Studio + 2. Verifică suportul pentru extensii Visual Studio - Verifică în C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras dacă există folderul C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Verifică folderul C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras pentru a te asigura că există C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Dacă nu îl găsești, caută în alte foldere ale toolkit-ului CUDA și copiază folderul visual_studio_integration și conținutul său în C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Dacă nu există, caută în alte foldere driver CUDA toolkit și copiază folderul visual_studio_integration și conținutul acestuia în C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Dacă nu dorești să compilezi, poți sări peste acest pas + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Copiază fișierele lib, bin, include din NVIDIA CUDNN 9.4 în folderele corespu - Descarcă [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Dezarhivează onnxruntime-win-x64-gpu-1.19.2.zip, redenumește folderul în **ort** și copiază-l în onnxruntime-genai + - Dezarhivează onnxruntime-win-x64-gpu-1.19.2.zip, redenumește-l în **ort**, copiază folderul ort în onnxruntime-genai - - Folosind Windows Terminal, deschide Developer Command Prompt pentru VS 2022 și navighează la onnxruntime-genai + - Folosind Windows Terminal, deschide Desenvoluțăm prompt pentru VS 2022 și navighează la onnxruntime-genai -![RESULT](../../../../../../translated_images/ro/03.b83ce473d5ff9b9b.webp) +![RESULTAT](../../../../../../translated_images/ro/03.b83ce473d5ff9b9b.webp) - - Compilează folosind mediul tău Python + - Compilează-l cu mediul tău python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Copiază fișierele lib, bin, include din NVIDIA CUDNN 9.4 în folderele corespu ``` -**Declinare de responsabilitate**: -Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). Deși ne străduim pentru acuratețe, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă trebuie considerat sursa autorizată. Pentru informații critice, se recomandă traducerea profesională realizată de un specialist uman. Nu ne asumăm răspunderea pentru eventualele neînțelegeri sau interpretări greșite rezultate din utilizarea acestei traduceri. \ No newline at end of file +--- + + +**Declinare a responsabilității**: +Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). În timp ce ne străduim pentru acuratețe, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă trebuie considerat sursa autorizată. Pentru informații critice, se recomandă traducerea profesională realizată de un om. Nu ne asumăm responsabilitatea pentru eventualele neînțelegeri sau interpretări greșite care decurg din utilizarea acestei traduceri. + \ No newline at end of file diff --git a/translations/ro/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ro/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index adeb6ee07..8b6a29b80 100644 --- a/translations/ro/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ro/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# Utilizarea GPU-ului Windows pentru a crea o soluție Prompt flow cu Phi-3.5-Instruct ONNX +# Folosirea GPU Windows pentru a crea o soluție Prompt flow cu Phi-3.5-Instruct ONNX -Următorul document este un exemplu despre cum să folosești PromptFlow cu ONNX (Open Neural Network Exchange) pentru dezvoltarea aplicațiilor AI bazate pe modelele Phi-3. +Documentul următor este un exemplu despre cum să utilizați PromptFlow cu ONNX (Open Neural Network Exchange) pentru dezvoltarea aplicațiilor AI bazate pe modelele Phi-3. -PromptFlow este un set de unelte de dezvoltare conceput pentru a simplifica ciclul complet de dezvoltare al aplicațiilor AI bazate pe LLM (Large Language Model), de la generarea ideilor și prototipare până la testare și evaluare. +PromptFlow este un set de unelte de dezvoltare conceput pentru a simplifica ciclul complet de dezvoltare al aplicațiilor AI bazate pe LLM (Large Language Model), de la generarea de idei și prototipare până la testare și evaluare. Prin integrarea PromptFlow cu ONNX, dezvoltatorii pot: -- Optimiza performanța modelului: Folosi ONNX pentru inferență și implementare eficientă a modelului. -- Simplifica dezvoltarea: Utiliza PromptFlow pentru a gestiona fluxul de lucru și a automatiza sarcinile repetitive. -- Îmbunătăți colaborarea: Facilita o colaborare mai bună între membrii echipei prin oferirea unui mediu unificat de dezvoltare. +- Optimiza Performanța Modelului: Folosiți ONNX pentru inferență și implementare eficientă a modelului. +- Simplifica Dezvoltarea: Utilizați PromptFlow pentru a gestiona fluxul de lucru și a automatiza sarcinile repetitive. +- Îmbunătăți Colaborarea: Facilitați o colaborare mai bună între membrii echipei oferind un mediu unificat de dezvoltare. -**Prompt flow** este un set de unelte de dezvoltare conceput pentru a simplifica ciclul complet de dezvoltare al aplicațiilor AI bazate pe LLM, de la generarea ideilor, prototipare, testare, evaluare până la implementarea în producție și monitorizare. Face ingineria prompturilor mult mai ușoară și îți permite să construiești aplicații LLM cu calitate de producție. +**Prompt flow** este un set de unelte de dezvoltare conceput pentru a simplifica ciclul complet de dezvoltare al aplicațiilor AI bazate pe LLM, de la generare de idei, prototipare, testare, evaluare până la implementare în producție și monitorizare. Face ingineria prompturilor mult mai ușoară și îți permite să construiești aplicații LLM de calitate pentru producție. -Prompt flow se poate conecta la OpenAI, Azure OpenAI Service și modele personalizabile (Huggingface, LLM/SLM local). Sperăm să implementăm modelul ONNX cuantificat Phi-3.5 în aplicații locale. Prompt flow ne poate ajuta să planificăm mai bine afacerea și să finalizăm soluții locale bazate pe Phi-3.5. În acest exemplu, vom combina ONNX Runtime GenAI Library pentru a completa soluția Prompt flow bazată pe GPU Windows. +Prompt flow se poate conecta la OpenAI, Azure OpenAI Service și modele personalizabile (Huggingface, LLM/SLM local). Sperăm să implementăm modelul Phi-3.5 ONNX cuantificat în aplicații locale. Prompt flow ne poate ajuta să planificăm mai bine afacerea și să finalizăm soluții locale bazate pe Phi-3.5. În acest exemplu, vom combina ONNX Runtime GenAI Library pentru a completa soluția Prompt flow bazată pe Windows GPU. ## **Instalare** ### **ONNX Runtime GenAI pentru Windows GPU** -Citește acest ghid pentru a configura ONNX Runtime GenAI pentru Windows GPU [click aici](./ORTWindowGPUGuideline.md) +Citiți acest ghid pentru configurarea ONNX Runtime GenAI pentru Windows GPU [click aici](./ORTWindowGPUGuideline.md) ### **Configurarea Prompt flow în VSCode** -1. Instalează extensia Prompt flow pentru VS Code +1. Instalați extensia Prompt flow pentru VS Code ![pfvscode](../../../../../../translated_images/ro/pfvscode.eff93dfc66a42cbe.webp) -2. După instalarea extensiei Prompt flow pentru VS Code, dă click pe extensie și alege **Installation dependencies** urmează acest ghid pentru a instala Prompt flow SDK în mediul tău +2. După ce ați instalat extensia Prompt flow pentru VS Code, faceți clic pe extensie și alegeți **Installare dependențe** urmând acest ghid pentru a instala SDK Prompt flow în mediul vostru ![pfsetup](../../../../../../translated_images/ro/pfsetup.b46e93096f5a254f.webp) -3. Descarcă [Codul Exemplu](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) și folosește VS Code pentru a deschide acest exemplu +3. Descărcați [Cod Exemplu](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) și folosiți VS Code pentru a deschide acest exemplu ![pfsample](../../../../../../translated_images/ro/pfsample.8d89e70584ffe7c4.webp) -4. Deschide **flow.dag.yaml** pentru a alege mediul tău Python +4. Deschideți **flow.dag.yaml** pentru a alege mediul vostru Python ![pfdag](../../../../../../translated_images/ro/pfdag.264a77f7366458ff.webp) - Deschide **chat_phi3_ort.py** pentru a schimba locația modelului tău Phi-3.5-instruct ONNX + Deschideți **chat_phi3_ort.py** pentru a schimba locația modelului vostru Phi-3.5-instruct ONNX ![pfphi](../../../../../../translated_images/ro/pfphi.72da81d74244b45f.webp) -5. Rulează prompt flow pentru testare +5. Rulați prompt flow pentru testare -Deschide **flow.dag.yaml** și dă click pe editorul vizual +Deschideți **flow.dag.yaml** și faceți clic pe editorul vizual ![pfv](../../../../../../translated_images/ro/pfv.ba8a81f34b20f603.webp) -după ce dai click, rulează-l pentru testare +după ce ați făcut clic, rulați pentru a testa ![pfflow](../../../../../../translated_images/ro/pfflow.4e1135a089b1ce1b.webp) -1. Poți rula batch în terminal pentru a verifica mai multe rezultate +1. Puteți rula în lot în terminal pentru a verifica mai multe rezultate ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Poți verifica rezultatele în browserul tău implicit +Puteți verifica rezultatele în browserul vostru implicit ![pfresult](../../../../../../translated_images/ro/pfresult.c22c826f8062d7cb.webp) -**Declinare a responsabilității**: -Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). Deși ne străduim pentru acuratețe, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă trebuie considerat sursa autorizată. Pentru informații critice, se recomandă traducerea profesională realizată de un specialist uman. Nu ne asumăm răspunderea pentru eventualele neînțelegeri sau interpretări greșite rezultate din utilizarea acestei traduceri. \ No newline at end of file +--- + + +**Declinare a responsabilității**: +Acest document a fost tradus folosind serviciul de traducere AI [Co-op Translator](https://github.com/Azure/co-op-translator). În timp ce ne străduim pentru acuratețe, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă trebuie considerat sursa autorizată. Pentru informații critice, se recomandă traducerea profesională realizată de un om. Nu ne asumăm responsabilitatea pentru eventualele neînțelegeri sau interpretări greșite care decurg din utilizarea acestei traduceri. + \ No newline at end of file diff --git a/translations/ru/.co-op-translator.json b/translations/ru/.co-op-translator.json index 900c68f71..22fe660a9 100644 --- a/translations/ru/.co-op-translator.json +++ b/translations/ru/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:14:43+00:00", + "translation_date": "2026-07-29T17:30:15+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ru" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:38:50+00:00", + "translation_date": "2026-07-29T17:31:16+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ru" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:56:52+00:00", + "translation_date": "2026-07-29T17:30:40+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ru" }, diff --git a/translations/ru/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ru/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 019a01410..5b4fb7e9b 100644 --- a/translations/ru/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ru/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Как использовать Model Builder для квантизации Phi-3.5** +# **Квантование семейства Phi с использованием расширений Generative AI для onnxruntime** -Model Builder теперь поддерживает квантизацию ONNX моделей для Phi-3.5 Instruct и Phi-3.5-Vision +## **Что такое расширения Generative AI для onnxruntime** + +Эти расширения помогают запускать генеративный ИИ с ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Они обеспечивают цикл генеративного ИИ для моделей ONNX, включая вывод с помощью ONNX Runtime, обработку логитов, поиск и семплирование, а также управление кешем KV. Разработчики могут вызвать метод высокого уровня generate() или запускать каждую итерацию модели в цикле, генерируя по одному токену за раз и, при необходимости, обновляя параметры генерации внутри цикла. Поддерживаются жадный и лучевой поиск, а также семплирование TopP, TopK для генерации последовательностей токенов и встроенная обработка логитов, например, штрафы за повторения. Также можно легко добавить собственную оценку. + +На уровне приложений можно использовать расширения Generative AI для onnxruntime для создания приложений на C++/C#/Python. На уровне модели можно использовать их для слияния дообученных моделей и выполнения связанных с этим количественных задач развертывания. + + +## **Квантование Phi-3.5 с использованием расширений Generative AI для onnxruntime** + +### **Поддерживаемые модели** + +Расширения Generative AI для onnxruntime поддерживают конвертацию квантования моделей Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Создатель моделей в расширениях Generative AI для onnxruntime** + +Создатель моделей значительно ускоряет создание оптимизированных и квантованных моделей ONNX, работающих с API generate() ONNX Runtime. + +Через Создатель моделей вы можете квантовать модель в INT4, INT8, FP16, FP32 и комбинировать различные методы аппаратного ускорения, такие как CPU, CUDA, DirectML, Mobile и др. + +Для использования Создателя моделей необходимо установить + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +После установки вы можете запустить скрипт Создателя моделей из терминала для конвертации формата модели и квантования. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Пояснение параметров + +1. **model_name** Это модель в Hugging face, например microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct и т.д. Также может быть путь, где хранится модель + +2. **path_to_output_folder** Путь сохранения конвертированной квантованной модели + +3. **execution_provider** Поддержка различного аппаратного ускорения, например cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Каталог для локального кеширования скачиваемой модели из Hugging face + + + + +***Примечание:*** + +## **Как использовать Создатель моделей для квантования Phi-3.5** + +Создатель моделей сейчас поддерживает квантование ONNX моделей для Phi-3.5 Instruct и Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Квантизация INT4 с ускорением на CPU** + +**Квантование INT4 с ускорением на CPU** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Квантизация INT4 с ускорением на CUDA** +**Квантование INT4 с ускорением на CUDA** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Настройте окружение в терминале +1. Установите окружение в терминале ```bash @@ -40,7 +101,7 @@ cd models ``` -2. Скачайте microsoft/Phi-3.5-vision-instruct в папку models +2. Скачайте microsoft/Phi-3.5-vision-instruct в папку models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Пожалуйста, скачайте эти файлы в папку Phi-3.5-vision-instruct @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Скачайте этот файл в папку models + +4. Скачайте этот файл в папку models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Перейдите в терминал - Конвертируйте ONNX с поддержкой FP32 + Конвертация модели ONNX с поддержкой FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Примечание:** -1. В настоящее время Model Builder поддерживает конвертацию Phi-3.5-Instruct и Phi-3.5-Vision, но не Phi-3.5-MoE +1. В настоящее время Создатель моделей поддерживает конвертацию Phi-3.5-Instruct и Phi-3.5-Vision, но не Phi-3.5-MoE -2. Для использования квантизированной модели ONNX вы можете использовать Generative AI extensions for onnxruntime SDK +2. Для использования квантованной модели ONNX можно использовать расширения Generative AI для onnxruntime SDK -3. Необходимо учитывать ответственность в AI, поэтому после квантизации модели рекомендуется провести более тщательное тестирование результатов +3. Необходимо учитывать более ответственное использование ИИ, поэтому после квантования модели рекомендуется проводить более тщательное тестирование результатов + +4. Квантованная модель CPU INT4 может быть развернута на Edge Device с лучшими сценариями применения, поэтому мы завершили квантование Phi-3.5-Instruct с использованием INT4 -4. Квантизируя модель CPU INT4, мы можем развернуть её на Edge-устройствах, что открывает лучшие сценарии применения, поэтому мы завершили работу с Phi-3.5-Instruct в INT4 ## **Ресурсы** -1. Узнайте больше о Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Подробнее о расширениях Generative AI для onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Репозиторий расширений Generative AI для onnxruntime в GitHub [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Репозиторий Generative AI extensions for onnxruntime на GitHub [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Отказ от ответственности**: -Этот документ был переведен с помощью сервиса автоматического перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия по обеспечению точности, просим учитывать, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обращаться к профессиональному переводу, выполненному человеком. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования данного перевода. \ No newline at end of file + +**Отказ от ответственности**: +Этот документ был переведен с использованием сервиса машинного перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия по обеспечению точности, имейте в виду, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования этого перевода. + \ No newline at end of file diff --git a/translations/ru/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ru/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 32d99d8ea..8caba9903 100644 --- a/translations/ru/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ru/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Руководство по OnnxRuntime GenAI для Windows GPU** +# **Руководство по OnnxRuntime GenAI Windows GPU** -Это руководство описывает шаги по настройке и использованию ONNX Runtime (ORT) с GPU на Windows. Оно поможет вам использовать ускорение на GPU для ваших моделей, повышая производительность и эффективность. +Это руководство предоставляет шаги по настройке и использованию ONNX Runtime (ORT) с GPU на Windows. Оно предназначено для того, чтобы помочь вам использовать ускорение на GPU для ваших моделей, улучшая производительность и эффективность. -В документе приведены рекомендации по: +В документе содержатся рекомендации по: - Настройке окружения: инструкции по установке необходимых зависимостей, таких как CUDA, cuDNN и ONNX Runtime. - Конфигурации: как настроить окружение и ONNX Runtime для эффективного использования ресурсов GPU. -- Советы по оптимизации: рекомендации по тонкой настройке параметров GPU для достижения максимальной производительности. +- Советы по оптимизации: рекомендации по тонкой настройке параметров GPU для достижения оптимальной производительности. ### **1. Python 3.10.x /3.11.8** - ***Примечание*** Рекомендуется использовать [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) в качестве среды Python + ***Примечание*** Рекомендуется использовать [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) в качестве вашего Python окружения ```bash @@ -20,10 +20,11 @@ ``` - ***Напоминание*** Если у вас установлены какие-либо библиотеки ONNX для Python, пожалуйста, удалите их + ***Напоминание*** Если у вас установлена какая-либо библиотека python ONNX, пожалуйста, удалите её ### **2. Установка CMake с помощью winget** + ```bash winget install -e --id Kitware.CMake @@ -32,10 +33,11 @@ ### **3. Установка Visual Studio 2022 - разработка для рабочего стола с C++** - ***Примечание*** Если вы не планируете компилировать, этот шаг можно пропустить + ***Примечание*** Если вы не хотите компилировать, этот шаг можно пропустить ![CPP](../../../../../../translated_images/ru/01.42f52a2b2aedff02.webp) + ### **4. Установка драйвера NVIDIA** 1. **Драйвер NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,11 +46,11 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Напоминание*** Пожалуйста, используйте настройки по умолчанию при установке +***Напоминание*** Пожалуйста, используйте стандартные настройки процесса установки ### **5. Настройка окружения NVIDIA** -Скопируйте файлы из NVIDIA CUDNN 9.4 (lib, bin, include) в соответствующие папки NVIDIA CUDA 12.4 +Скопируйте библиотеки NVIDIA CUDNN 9.4 (lib, bin, include) в NVIDIA CUDA 12.4 (lib, bin, include) - скопируйте файлы из *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* @@ -56,7 +58,9 @@ - скопируйте файлы из *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* в *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -### **6. Загрузка Phi-3.5-mini-instruct-onnx** + +### **6. Скачайте Phi-3.5-mini-instruct-onnx** + ```bash @@ -72,23 +76,28 @@ ### **7. Запуск InferencePhi35Instruct.ipynb** - Откройте [блокнот](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) и выполните + Откройте [Скрипт](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) и выполните + ![RESULT](../../../../../../translated_images/ru/02.b9b06996cf7255d5.webp) + ### **8. Компиляция ORT GenAI GPU** + ***Примечание*** - 1. Сначала удалите все пакеты, связанные с onnx, onnxruntime и onnxruntime-genai + 1. Сначала удалите все, что связано с onnx, onnxruntime и onnxruntime-genai + ```bash pip list ``` - Затем удалите все библиотеки onnxruntime, например: + Затем удалите все onnxruntime библиотеки, например + ```bash @@ -100,13 +109,17 @@ ``` - 2. Проверьте поддержку расширения Visual Studio + 2. Проверьте поддержку расширения Visual Studio - Убедитесь, что в папке C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras присутствует каталог C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Проверьте папку C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, чтобы убедиться, что найдена папка C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Если его нет, проверьте другие папки с драйверами CUDA toolkit и скопируйте папку visual_studio_integration вместе с содержимым в C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Если не найдена, проверьте другие папки драйверов Cuda toolkit и скопируйте папку visual_studio_integration с содержимым в C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Если вы не хотите компилировать, этот шаг можно пропустить - - Если вы не планируете компилировать, этот шаг можно пропустить ```bash @@ -116,14 +129,15 @@ - Скачайте [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Распакуйте onnxruntime-win-x64-gpu-1.19.2.zip, переименуйте папку в **ort** и скопируйте её в onnxruntime-genai + - Распакуйте onnxruntime-win-x64-gpu-1.19.2.zip, переименуйте папку в **ort**, скопируйте папку ort в onnxruntime-genai - - В Windows Terminal откройте Developer Command Prompt для VS 2022 и перейдите в папку onnxruntime-genai + - Используя Windows Terminal, перейдите в Command Prompt for VS 2022 и зайдите в onnxruntime-genai ![RESULT](../../../../../../translated_images/ru/03.b83ce473d5ff9b9b.webp) - - Скомпилируйте с использованием вашей среды Python + - Скомпилируйте его с вашим python окружением + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**Отказ от ответственности**: -Этот документ был переведен с помощью сервиса автоматического перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия по обеспечению точности, просим учитывать, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обращаться к профессиональному переводу, выполненному человеком. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования данного перевода. \ No newline at end of file +--- + + +**Отказ от ответственности**: +Этот документ был переведен с использованием сервиса машинного перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия по обеспечению точности, имейте в виду, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования этого перевода. + \ No newline at end of file diff --git a/translations/ru/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ru/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 5cc89a2d8..d7c545249 100644 --- a/translations/ru/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ru/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,24 +1,24 @@ -# Использование Windows GPU для создания решения Prompt flow с Phi-3.5-Instruct ONNX +# Использование Windows GPU для создания решения Prompt flow с Phi-3.5-Instruct ONNX -В этом документе приведён пример использования PromptFlow с ONNX (Open Neural Network Exchange) для разработки AI-приложений на базе моделей Phi-3. +В следующем документе приведён пример использования PromptFlow с ONNX (Open Neural Network Exchange) для разработки AI-приложений на основе моделей Phi-3. -PromptFlow — это набор инструментов для разработки, который упрощает полный цикл создания AI-приложений на основе LLM (Large Language Model) — от идеи и прототипирования до тестирования и оценки. +PromptFlow — это набор инструментов разработки, предназначенный для оптимизации полного цикла разработки AI-приложений на базе LLM (Large Language Model), от идеи и прототипирования до тестирования и оценки. Интегрируя PromptFlow с ONNX, разработчики могут: -- Оптимизировать производительность модели: использовать ONNX для эффективного вывода и развертывания моделей. -- Упростить разработку: применять PromptFlow для управления рабочим процессом и автоматизации рутинных задач. -- Улучшить сотрудничество: обеспечить удобную совместную работу команды через единое рабочее окружение. +- Оптимизировать производительность модели: использовать ONNX для эффективного выполнения и развертывания моделей. +- Упростить разработку: применять PromptFlow для управления рабочим процессом и автоматизации повторяющихся задач. +- Улучшить сотрудничество: способствовать лучшему взаимодействию между членами команды, предоставляя единое окружение разработки. -**Prompt flow** — это набор инструментов, который упрощает полный цикл разработки AI-приложений на базе LLM: от идеи, прототипирования, тестирования и оценки до развертывания в продакшн и мониторинга. Он значительно облегчает prompt engineering и позволяет создавать LLM-приложения с качеством, готовым к промышленному использованию. +**Prompt flow** — это набор инструментов разработки, предназначенный для оптимизации полного цикла разработки AI-приложений на базе LLM, начиная от идеи, прототипирования, тестирования, оценки и до развёртывания в production и мониторинга. Он упрощает разработку prompt-инженерии и позволяет создавать LLM-приложения с производственным качеством. -Prompt flow может подключаться к OpenAI, Azure OpenAI Service и настраиваемым моделям (Huggingface, локальные LLM/SLM). Мы планируем развернуть квантизированную ONNX-модель Phi-3.5 в локальных приложениях. Prompt flow поможет нам лучше спланировать бизнес и реализовать локальные решения на базе Phi-3.5. В этом примере мы объединим ONNX Runtime GenAI Library для создания решения Prompt flow на базе Windows GPU. +Prompt flow может подключаться к OpenAI, Azure OpenAI Service и настраиваемым моделям (Huggingface, локальные LLM/SLM). Мы планируем развернуть квантованную ONNX-модель Phi-3.5 в локальных приложениях. Prompt flow поможет нам лучше спланировать бизнес и завершить локальные решения на базе Phi-3.5. В этом примере мы объединим ONNX Runtime GenAI Library для создания решения Prompt flow на основе Windows GPU. ## **Установка** ### **ONNX Runtime GenAI для Windows GPU** -Прочитайте это руководство по настройке ONNX Runtime GenAI для Windows GPU [нажмите здесь](./ORTWindowGPUGuideline.md) +Прочитайте это руководство для настройки ONNX Runtime GenAI для Windows GPU [click here](./ORTWindowGPUGuideline.md) ### **Настройка Prompt flow в VSCode** @@ -26,33 +26,33 @@ Prompt flow может подключаться к OpenAI, Azure OpenAI Service ![pfvscode](../../../../../../translated_images/ru/pfvscode.eff93dfc66a42cbe.webp) -2. После установки расширения Prompt flow для VS Code, кликните по нему и выберите **Installation dependencies**, следуйте этому руководству для установки Prompt flow SDK в вашем окружении +2. После установки расширения Prompt flow в VS Code, нажмите на расширение и выберите **Installation dependencies**, следуя этому руководству, чтобы установить SDK Prompt flow в вашей среде ![pfsetup](../../../../../../translated_images/ru/pfsetup.b46e93096f5a254f.webp) -3. Скачайте [пример кода](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) и откройте его в VS Code +3. Скачайте [образец кода](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) и откройте его с помощью VS Code ![pfsample](../../../../../../translated_images/ru/pfsample.8d89e70584ffe7c4.webp) -4. Откройте **flow.dag.yaml** и выберите ваше Python-окружение +4. Откройте **flow.dag.yaml**, чтобы выбрать вашу Python-среду ![pfdag](../../../../../../translated_images/ru/pfdag.264a77f7366458ff.webp) - Откройте **chat_phi3_ort.py** и укажите путь к вашей модели Phi-3.5-instruct ONNX + Откройте **chat_phi3_ort.py**, чтобы изменить расположение вашей ONNX модели Phi-3.5-instruct ![pfphi](../../../../../../translated_images/ru/pfphi.72da81d74244b45f.webp) -5. Запустите prompt flow для тестирования +5. Запустите ваш prompt flow для тестирования -Откройте **flow.dag.yaml**, нажмите на визуальный редактор +Откройте **flow.dag.yaml** и нажмите визуальный редактор ![pfv](../../../../../../translated_images/ru/pfv.ba8a81f34b20f603.webp) -после этого запустите выполнение для теста +затем нажмите на это и запустите для теста ![pfflow](../../../../../../translated_images/ru/pfflow.4e1135a089b1ce1b.webp) -1. Вы также можете запускать пакетные задания в терминале для получения дополнительных результатов +1. Вы можете запустить пакетную обработку в терминале, чтобы проверить больше результатов ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Результаты можно просмотреть в вашем браузере по умолчанию +Вы можете проверить результаты в вашем браузере по умолчанию ![pfresult](../../../../../../translated_images/ru/pfresult.c22c826f8062d7cb.webp) -**Отказ от ответственности**: -Этот документ был переведен с помощью сервиса автоматического перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия по обеспечению точности, просим учитывать, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обращаться к профессиональному переводу, выполненному человеком. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования данного перевода. \ No newline at end of file +--- + + +**Отказ от ответственности**: +Этот документ был переведен с использованием сервиса машинного перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия по обеспечению точности, имейте в виду, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования этого перевода. + \ No newline at end of file diff --git a/translations/sk/.co-op-translator.json b/translations/sk/.co-op-translator.json index 4ba7e7108..ea66c6a1c 100644 --- a/translations/sk/.co-op-translator.json +++ b/translations/sk/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:25:36+00:00", + "translation_date": "2026-07-29T18:21:59+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "sk" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:46:56+00:00", + "translation_date": "2026-07-29T18:22:41+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "sk" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:03:25+00:00", + "translation_date": "2026-07-29T18:22:17+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "sk" }, diff --git a/translations/sk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/sk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 297655aca..b152e31d1 100644 --- a/translations/sk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/sk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Ako použiť Model Builder na kvantizáciu Phi-3.5** +# **Kvantovanie rodiny Phi pomocou Generatívnych AI rozšírení pre onnxruntime** -Model Builder teraz podporuje kvantizáciu ONNX modelov pre Phi-3.5 Instruct a Phi-3.5-Vision +## **Čo sú Generatívne AI rozšírenia pre onnxruntime** + +Tieto rozšírenia vám pomáhajú spúšťať generatívnu AI s ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Poskytujú generatívnu AI slučku pre ONNX modely, vrátane inferencie pomocou ONNX Runtime, spracovania logitov, vyhľadávania a vzorkovania a správy KV cache. Vývojári môžu volať vysokoúrovňovú metódu generate(), alebo spúšťať každý krok modelu v slučke, generovať jeden token naraz a voliteľne aktualizovať parametre generovania v rámci slučky. Podporuje greedy/beam search a TopP, TopK vzorkovanie na generovanie sekvencií tokenov a zabudované spracovanie logitov ako penalizácie opakovania. Tiež môžete ľahko pridať vlastné hodnotenie. + +Na úrovni aplikácie môžete použiť Generatívne AI rozšírenia pre onnxruntime na tvorbu aplikácií pomocou C++/ C# / Python. Na úrovni modelu môžete použiť toto na zlúčenie doladených modelov a vykonanie súvisiacej kvantitatívnej implementácie. + + +## **Kvantovanie Phi-3.5 s Generatívnymi AI rozšíreniami pre onnxruntime** + +### **Podporované modely** + +Generatívne AI rozšírenia pre onnxruntime podporujú konverziu kvantizácie Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Tvorca modelov v Generatívnych AI rozšíreniach pre onnxruntime** + +Tvorca modelov výrazne urýchľuje vytváranie optimalizovaných a kvantizovaných ONNX modelov, ktoré fungujú s ONNX Runtime generate() API. + +Pomocou Tvorcu modelov môžete kvantizovať model na INT4, INT8, FP16, FP32 a kombinovať rôzne metódy hardvérovej akcelerácie ako CPU, CUDA, DirectML, Mobile a pod. + +Na použitie Tvorcu modelov musíte nainštalovať + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Po inštalácii môžete spustiť skript Tvorcu modelov z terminálu na vykonanie konverzie formátu modelu a kvantizácie. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Pochopte príslušné parametre + +1. **model_name** Toto je model na Hugging face, ako microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct a pod. Môže to byť aj cesta, kde máte uložený model. + +2. **path_to_output_folder** Cesta na uloženie konvertovaného kvantizovaného modelu + +3. **execution_provider** Podpora rôznych hardvérových akcelerácií ako cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Model sťahujeme z Hugging face a ukladajú sa do cache lokálne + + + + +***Poznámka：*** + +## **Ako použiť Tvorcu modelov na kvantovanie Phi-3.5** + +Tvorca modelov teraz podporuje ONNX kvantizáciu modelov Phi-3.5 Instruct a Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Konverzia kvantizovaného INT4 s akceleráciou na CPU** + +**CPU akcelerovaná konverzia kvantizovaného INT4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Konverzia kvantizovaného INT4 s akceleráciou na CUDA** +**CUDA akcelerovaná konverzia kvantizovaného INT4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Stiahnite microsoft/Phi-3.5-vision-instruct do priečinka models +2. Stiahnite microsoft/Phi-3.5-vision-instruct do priečinka models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Stiahnite tieto súbory do vášho priečinka Phi-3.5-vision-instruct +3. Stiahnite si prosím tieto súbory do vášho priečinka Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Stiahnite tento súbor do priečinka models + +4. Stiahnite tento súbor do priečinka models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Prejdite do terminálu - Konvertujte ONNX model s podporou FP32 + Konvertujte ONNX podporu s FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Poznámka:** -1. Model Builder momentálne podporuje konverziu Phi-3.5-Instruct a Phi-3.5-Vision, ale nie Phi-3.5-MoE +### **Poznámka：** + +1. Tvorca modelov momentálne podporuje konverziu Phi-3.5-Instruct a Phi-3.5-Vision, ale nie Phi-3.5-MoE -2. Na použitie kvantizovaného modelu ONNX ho môžete využiť cez Generative AI extensions for onnxruntime SDK +2. Pre použitie ONNX kvantizovaného modelu ho môžete využívať cez SDK Generatívnych AI rozšírení pre onnxruntime -3. Je potrebné zohľadniť zodpovednejšiu AI, preto sa po kvantizačnej konverzii modelu odporúča vykonať dôkladnejšie testovanie výsledkov +3. Musíme viac uvažovať o zodpovednej AI, preto po konverzii kvantizácie modelu sa odporúča vykonať efektívnejšie testovanie výsledkov + +4. Kvantovaním CPU INT4 modelu ho môžeme nasadiť na Edge zariadenia, ktoré majú lepšie aplikačné scenáre, takže sme dokončili Phi-3.5-Instruct okolo INT4 -4. Kvantizáciou CPU INT4 modelu môžeme nasadiť model na Edge zariadenia, čo prináša lepšie aplikačné scenáre, preto sme dokončili Phi-3.5-Instruct okolo INT4 ## **Zdroje** -1. Viac informácií o Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Viac informácií o Generatívnych AI rozšíreniach pre onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. GitHub repozitár Generatívnych AI rozšírení pre onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. GitHub repozitár Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Vyhlásenie o zodpovednosti**: -Tento dokument bol preložený pomocou AI prekladateľskej služby [Co-op Translator](https://github.com/Azure/co-op-translator). Hoci sa snažíme o presnosť, prosím, majte na pamäti, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Originálny dokument v jeho pôvodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu. \ No newline at end of file + +**Vyhlásenie o zodpovednosti**: +Tento dokument bol preložený pomocou AI prekladateľskej služby [Co-op Translator](https://github.com/Azure/co-op-translator). Hoci sa snažíme o presnosť, vezmite prosím na vedomie, že automatické preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho natívnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za žiadne nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu. + \ No newline at end of file diff --git a/translations/sk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/sk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index ac36cd66c..713fe89d8 100644 --- a/translations/sk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/sk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,11 +1,11 @@ # **Návod pre OnnxRuntime GenAI Windows GPU** -Tento návod poskytuje kroky na nastavenie a používanie ONNX Runtime (ORT) s GPU na Windows. Je určený na to, aby vám pomohol využiť akceleráciu GPU pre vaše modely, čím zlepšíte výkon a efektivitu. +Tento návod poskytuje kroky na nastavenie a používanie ONNX Runtime (ORT) s GPU na Windows. Je navrhnutý tak, aby vám pomohol využiť akceleráciu GPU pre vaše modely, čím zlepší výkon a efektivitu. -Dokument obsahuje pokyny na: +Dokument poskytuje usmernenia ohľadom: -- Nastavenie prostredia: Inštrukcie na inštaláciu potrebných závislostí ako CUDA, cuDNN a ONNX Runtime. -- Konfigurácia: Ako nastaviť prostredie a ONNX Runtime na efektívne využitie GPU zdrojov. +- Nastavenie prostredia: Pokyny na inštaláciu potrebných závislostí ako CUDA, cuDNN a ONNX Runtime. +- Konfigurácia: Ako nakonfigurovať prostredie a ONNX Runtime na efektívne využívanie GPU zdrojov. - Tipy na optimalizáciu: Odporúčania, ako doladiť nastavenia GPU pre optimálny výkon. ### **1. Python 3.10.x /3.11.8** @@ -20,35 +20,37 @@ Dokument obsahuje pokyny na: ``` - ***Pripomienka*** Ak máte nainštalovanú nejakú Python ONNX knižnicu, prosím odinštalujte ju + ***Pripomienka*** Ak máte nainštalovanú nejakú python ONNX knižnicu, prosím odinštalujte ju ### **2. Inštalácia CMake pomocou winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Inštalácia Visual Studio 2022 - Desktop Development s C++** +### **3. Inštalácia Visual Studio 2022 - Vývoj desktopových aplikácií s C++** ***Poznámka*** Ak nechcete kompilovať, tento krok môžete preskočiť ![CPP](../../../../../../translated_images/sk/01.42f52a2b2aedff02.webp) + ### **4. Inštalácia NVIDIA ovládača** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU ovládač** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Pripomienka*** Použite predvolené nastavenia počas inštalácie +***Pripomienka*** Prosím používajte predvolené nastavenia počas inštalácie ### **5. Nastavenie NVIDIA prostredia** -Skopírujte NVIDIA CUDNN 9.4 súbory z priečinkov lib, bin, include do príslušných priečinkov NVIDIA CUDA 12.4 +Skopírujte knižnice NVIDIA CUDNN 9.4 lib, bin, include do príslušných adresárov NVIDIA CUDA 12.4 lib, bin, include - skopírujte súbory z *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* @@ -56,7 +58,9 @@ Skopírujte NVIDIA CUDNN 9.4 súbory z priečinkov lib, bin, include do príslu - skopírujte súbory z *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* do *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -### **6. Stiahnutie Phi-3.5-mini-instruct-onnx** + +### **6. Stiahnite Phi-3.5-mini-instruct-onnx** + ```bash @@ -72,23 +76,28 @@ Skopírujte NVIDIA CUDNN 9.4 súbory z priečinkov lib, bin, include do príslu ### **7. Spustenie InferencePhi35Instruct.ipynb** - Otvorte [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) a spustite ho + Otvorte [notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) a vykonajte ho + ![RESULT](../../../../../../translated_images/sk/02.b9b06996cf7255d5.webp) + ### **8. Kompilácia ORT GenAI GPU** + ***Poznámka*** - 1. Najprv odinštalujte všetky knižnice súvisiace s onnx, onnxruntime a onnxruntime-genai + 1. Najskôr odinštalujte všetko súvisiace s onnx, onnxruntime a onnxruntime-genai + ```bash pip list ``` - Potom odinštalujte všetky onnxruntime knižnice, napríklad: + Potom odinštalujte všetky onnxruntime knižnice, napr. + ```bash @@ -100,30 +109,35 @@ Skopírujte NVIDIA CUDNN 9.4 súbory z priečinkov lib, bin, include do príslu ``` - 2. Skontrolujte podporu rozšírenia vo Visual Studio + 2. Skontrolujte podporu rozšírenia Visual Studio - Skontrolujte priečinok C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, či obsahuje C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Skontrolujte, či sa v C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras nachádza priečinok C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Ak tam nie je, skontrolujte iné priečinky CUDA toolkit a skopírujte priečinok visual_studio_integration a jeho obsah do C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Ak priečinok nie je nájdený, skontrolujte iné priečinky Cuda toolkit ovládača a skopírujte priečinok visual_studio_integration a jeho obsah do C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Ak nechcete kompilovať, tento krok môžete preskočiť + ```bash git clone https://github.com/microsoft/onnxruntime-genai ``` - - Stiahnite [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) + - Stiahnite si [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Rozbaľte onnxruntime-win-x64-gpu-1.19.2.zip, premenovajte ho na **ort** a skopírujte priečinok ort do onnxruntime-genai + - Rozbaľte onnxruntime-win-x64-gpu-1.19.2.zip a premenovajte priečinok na **ort**, skopírujte priečinok ort do onnxruntime-genai - - Pomocou Windows Terminálu otvorte Developer Command Prompt pre VS 2022 a prejdite do onnxruntime-genai + - Použite Windows Terminal, prejdite do Developer Command Prompt for VS 2022 a prejdite do onnxruntime-genai ![RESULT](../../../../../../translated_images/sk/03.b83ce473d5ff9b9b.webp) - - Kompilujte s vaším Python prostredím + - Kompilujte s vaším python prostredím + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Skopírujte NVIDIA CUDNN 9.4 súbory z priečinkov lib, bin, include do príslu ``` -**Zrieknutie sa zodpovednosti**: -Tento dokument bol preložený pomocou AI prekladateľskej služby [Co-op Translator](https://github.com/Azure/co-op-translator). Aj keď sa snažíme o presnosť, prosím, majte na pamäti, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Originálny dokument v jeho pôvodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu. \ No newline at end of file +--- + + +**Vyhlásenie o zodpovednosti**: +Tento dokument bol preložený pomocou AI prekladateľskej služby [Co-op Translator](https://github.com/Azure/co-op-translator). Hoci sa snažíme o presnosť, vezmite prosím na vedomie, že automatické preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho natívnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za žiadne nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu. + \ No newline at end of file diff --git a/translations/sk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/sk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 4829794a5..9fdc3c2ed 100644 --- a/translations/sk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/sk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ -# Použitie Windows GPU na vytvorenie riešenia Prompt flow s Phi-3.5-Instruct ONNX +# Použitie Windows GPU na vytvorenie riešenia Prompt flow s Phi-3.5-Instruct ONNX -Nasledujúci dokument je príklad, ako používať PromptFlow s ONNX (Open Neural Network Exchange) na vývoj AI aplikácií založených na modeloch Phi-3. +Nasledujúci dokument je príklad, ako používať PromptFlow s ONNX (Open Neural Network Exchange) pre vývoj AI aplikácií založených na modeloch Phi-3. -PromptFlow je súbor vývojových nástrojov navrhnutých na zjednodušenie celého vývojového cyklu AI aplikácií založených na LLM (Large Language Model), od nápadu a prototypovania až po testovanie a hodnotenie. +PromptFlow je súbor vývojových nástrojov navrhnutých na zjednodušenie celého vývojového cyklu AI aplikácií založených na LLM (Large Language Model), od nápadu a prototypovania až po testovanie a vyhodnocovanie. Integráciou PromptFlow s ONNX môžu vývojári: - Optimalizovať výkon modelu: Využiť ONNX pre efektívne inferovanie a nasadenie modelu. - Zjednodušiť vývoj: Použiť PromptFlow na správu pracovného toku a automatizáciu opakujúcich sa úloh. -- Zlepšiť spoluprácu: Uľahčiť spoluprácu medzi členmi tímu poskytnutím jednotného vývojového prostredia. +- Zlepšiť spoluprácu: Umožniť lepšiu spoluprácu medzi členmi tímu prostredníctvom jednotného vývojového prostredia. -**Prompt flow** je súbor vývojových nástrojov navrhnutých na zjednodušenie celého vývojového cyklu AI aplikácií založených na LLM, od nápadu, prototypovania, testovania, hodnotenia až po nasadenie do produkcie a monitorovanie. Uľahčuje prompt engineering a umožňuje vytvárať LLM aplikácie s kvalitou vhodnou pre produkciu. +**Prompt flow** je súbor vývojových nástrojov navrhnutých na zjednodušenie celého vývojového cyklu AI aplikácií založených na LLM, od námetov, prototypovania, testovania, vyhodnocovania až po produkčné nasadenie a monitorovanie. Uľahčuje prompt engineering a umožňuje vytvárať LLM aplikácie s produkčnou kvalitou. -Prompt flow sa dokáže pripojiť k OpenAI, Azure OpenAI Service a prispôsobiteľným modelom (Huggingface, lokálne LLM/SLM). Plánujeme nasadiť kvantizovaný ONNX model Phi-3.5 do lokálnych aplikácií. Prompt flow nám môže pomôcť lepšie naplánovať naše podnikanie a dokončiť lokálne riešenia založené na Phi-3.5. V tomto príklade skombinujeme ONNX Runtime GenAI knižnicu na dokončenie riešenia Prompt flow založeného na Windows GPU. +Prompt flow sa môže pripojiť k OpenAI, Azure OpenAI Service a prispôsobiteľným modelom (Huggingface, lokálny LLM/SLM). Dúfame, že nasadíme kvantovaný ONNX model Phi-3.5 do lokálnych aplikácií. Prompt flow nám pomôže lepšie plánovať náš biznis a dokončiť lokálne riešenia založené na Phi-3.5. V tomto príklade skombinujeme ONNX Runtime GenAI knižnicu pre dokončenie riešenia Prompt flow založeného na Windows GPU. ## **Inštalácia** ### **ONNX Runtime GenAI pre Windows GPU** -Prečítajte si tento návod na nastavenie ONNX Runtime GenAI pre Windows GPU [kliknite sem](./ORTWindowGPUGuideline.md) +Prečítajte si tento návod na nastavenie ONNX Runtime GenAI pre Windows GPU [kliknite sem](./ORTWindowGPUGuideline.md) ### **Nastavenie Prompt flow vo VSCode** -1. Nainštalujte rozšírenie Prompt flow pre VS Code +1. Nainštalujte rozšírenie Prompt flow do VS Code ![pfvscode](../../../../../../translated_images/sk/pfvscode.eff93dfc66a42cbe.webp) -2. Po inštalácii rozšírenia Prompt flow vo VS Code kliknite na rozšírenie a vyberte **Installation dependencies**, podľa tohto návodu nainštalujte Prompt flow SDK do vášho prostredia +2. Po inštalácii rozšírenia Prompt flow vo VS Code kliknite na rozšírenie a vyberte **Inštalačné závislosti** podľa tohto návodu nainštalujte Prompt flow SDK do vášho prostredia ![pfsetup](../../../../../../translated_images/sk/pfsetup.b46e93096f5a254f.webp) -3. Stiahnite si [Ukážkový kód](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) a otvorte ho vo VS Code +3. Stiahnite si [Ukážkový kód](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) a otvorte tento príklad vo VS Code ![pfsample](../../../../../../translated_images/sk/pfsample.8d89e70584ffe7c4.webp) @@ -48,11 +48,11 @@ Otvorte **flow.dag.yaml** a kliknite na vizuálny editor ![pfv](../../../../../../translated_images/sk/pfv.ba8a81f34b20f603.webp) -Po kliknutí spustite testovanie +po kliknutí ho spustite na test ![pfflow](../../../../../../translated_images/sk/pfflow.4e1135a089b1ce1b.webp) -1. Môžete spustiť batch v termináli pre zobrazenie ďalších výsledkov +1. Môžete spustiť dávku v termináli pre zobrazenie viacerých výsledkov ```bash @@ -66,5 +66,9 @@ Výsledky si môžete pozrieť vo vašom predvolenom prehliadači ![pfresult](../../../../../../translated_images/sk/pfresult.c22c826f8062d7cb.webp) -**Zrieknutie sa zodpovednosti**: -Tento dokument bol preložený pomocou AI prekladateľskej služby [Co-op Translator](https://github.com/Azure/co-op-translator). Aj keď sa snažíme o presnosť, prosím, majte na pamäti, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu. \ No newline at end of file +--- + + +**Vyhlásenie o zodpovednosti**: +Tento dokument bol preložený pomocou AI prekladateľskej služby [Co-op Translator](https://github.com/Azure/co-op-translator). Hoci sa snažíme o presnosť, vezmite prosím na vedomie, že automatické preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho natívnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za žiadne nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu. + \ No newline at end of file diff --git a/translations/sl/.co-op-translator.json b/translations/sl/.co-op-translator.json index 209172742..ebe079a39 100644 --- a/translations/sl/.co-op-translator.json +++ b/translations/sl/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:27:08+00:00", + "translation_date": "2026-07-29T17:15:01+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "sl" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:48:13+00:00", + "translation_date": "2026-07-29T17:15:47+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "sl" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:04:22+00:00", + "translation_date": "2026-07-29T17:15:19+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "sl" }, diff --git a/translations/sl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/sl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 6b61da695..20972894c 100644 --- a/translations/sl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/sl/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Kako uporabiti Model Builder za kvantizacijo Phi-3.5** +# **Kvantizacija Phi družine z uporabo Generative AI razširitev za onnxruntime** -Model Builder zdaj podpira kvantizacijo ONNX modelov za Phi-3.5 Instruct in Phi-3.5-Vision +## **Kaj so Generative AI razširitve za onnxruntime** + +Te razširitve vam pomagajo zagnati generativno AI z ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Zagotavljajo generativno AI zanko za ONNX modele, vključno z inferenco z ONNX Runtime, obdelavo logistk, iskanjem in vzorčenjem ter upravljanjem KV predpomnilnika. Razvijalci lahko pokličejo visokonivojsko metodo generate(), ali pa izvajajo vsako iteracijo modela v zanki, generirajoč en žeton naenkrat in po želji posodabljajo parametre generacije znotraj zanke. Podpirajo pohlepno/beam iskanje in TopP, TopK vzorčenje za generiranje sekvenc žetonov ter vgrajeno obdelavo logistk, kot so kazni za ponavljanje. Prav tako lahko enostavno dodate uporabniško ocenjevanje. + +Na ravni aplikacije lahko Generative AI razširitve za onnxruntime uporabite za izdelavo aplikacij v C++/ C# / Python. Na ravni modela jih lahko uporabite za združevanje vnaprej natreniranih modelov in opravljanje sorodnih količinskih nalog uvajanja. + + +## **Kvantizacija Phi-3.5 z Generative AI razširitvami za onnxruntime** + +### **Podprti modeli** + +Generative AI razširitve za onnxruntime podpirajo konverzijo kvantizacije Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Graditelj modelov v Generative AI razširitvah za onnxruntime** + +Graditelj modelov močno pospeši ustvarjanje optimiziranih in kvantiziranih ONNX modelov, ki tečejo z ONNX Runtime generate() API-jem. + +Preko Graditelja modelov lahko model kvantizirate v INT4, INT8, FP16, FP32 ter kombinirate različne metode strojno pospešene izvedbe, kot so CPU, CUDA, DirectML, Mobile itd. + +Za uporabo Graditelja modelov morate namestiti + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Po namestitvi lahko Graditelj modelov zaženete preko terminala za izvedbo konverzije formata modela in kvantizacije. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Razumevanje relevantnih parametrov + +1. **model_name** To je model na Hugging Face, kot na primer microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct itd. Lahko je tudi pot, kjer hranite model. + +2. **path_to_output_folder** Pot za shranjevanje kvantizirane konverzije. + +3. **execution_provider** Podpora za različne strojne pospešitve, kot so cpu, cuda, DirectML. + +4. **cache_dir_to_save_hf_files** Prenesemo model s Hugging Face in ga lokalno predpomnimo. + + + + +***Opomba:*** + +## **Kako uporabiti Graditelj modelov za kvantizacijo Phi-3.5** + +Graditelj modelov sedaj podpira ONNX kvantizacijo modelov za Phi-3.5 Instruct in Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Pretvorba kvantiziranega INT4 pospešena s CPU** + +**CPU pospešena konverzija kvantiziranega INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Pretvorba kvantiziranega INT4 pospešena s CUDA** +**CUDA pospešena konverzija kvantiziranega INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Prenesite microsoft/Phi-3.5-vision-instruct v mapo models +2. Prenesite microsoft/Phi-3.5-vision-instruct v mapo models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Prosimo, prenesite te datoteke v vašo mapo Phi-3.5-vision-instruct +3. Prosimo prenesite te datoteke v vašo mapo Phi-3.5-vision-instruct - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Prenesite to datoteko v mapo models + +4. Prenesite to datoteko v mapo models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Odprite terminal +5. Pojdite v terminal + + Pretvorite ONNX z podporo za FP32 - Pretvorite ONNX model s podporo FP32 ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Opomba:** -1. Model Builder trenutno podpira pretvorbo Phi-3.5-Instruct in Phi-3.5-Vision, ne pa Phi-3.5-MoE +1. Graditelj modelov trenutno podpira konverzijo Phi-3.5-Instruct in Phi-3.5-Vision, ne pa Phi-3.5-MoE -2. Za uporabo kvantiziranega ONNX modela lahko uporabite Generative AI extensions for onnxruntime SDK +2. Za uporabo ONNX kvantiziranega modela ga lahko uporabite preko Generative AI rozširitev za onnxruntime SDK -3. Zaradi odgovorne uporabe AI priporočamo, da po kvantizaciji modela izvedete temeljitejše testiranje rezultatov +3. Potrebno je upoštevati bolj odgovorno AI, zato po konverziji kvantizacije modela priporočamo učinkovitejše testiranje rezultatov + +4. S kvantizacijo CPU INT4 modela ga lahko uvedemo na Edge naprave, ki imajo boljše scenarije uporabe, tako smo zaključili Phi-3.5-Instruct okoli INT 4 -4. S kvantizacijo CPU INT4 modela ga lahko namestimo na Edge naprave, kar omogoča boljše scenarije uporabe, zato smo zaključili Phi-3.5-Instruct okoli INT4 ## **Viri** -1. Več o Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Izvedite več o Generative AI razširitvah za onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI razširitve za onnxruntime GitHub repozitorij [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub repozitorij [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Omejitev odgovornosti**: -Ta dokument je bil preveden z uporabo storitve za avtomatski prevod AI [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatski prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku velja za avtoritativni vir. Za pomembne informacije priporočamo strokovni človeški prevod. Za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda, ne odgovarjamo. \ No newline at end of file + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo AI prevajalske storitve [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da avtomatizirani prevodi lahko vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za kritične informacije je priporočljiv strokovni človeški prevod. Ne odgovarjamo za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda. + \ No newline at end of file diff --git a/translations/sl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/sl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index eb2997563..0a8850d5e 100644 --- a/translations/sl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/sl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Navodila za OnnxRuntime GenAI Windows GPU** +# **Smernice za OnnxRuntime GenAI Windows GPU** -Ta navodila opisujejo korake za nastavitev in uporabo ONNX Runtime (ORT) z GPU-ji na Windows. Namenjena so, da vam pomagajo izkoristiti pospeševanje z GPU za vaše modele, kar izboljša zmogljivost in učinkovitost. +Te smernice zagotavljajo korake za nastavitev in uporabo ONNX Runtime (ORT) z GPU-ji na Windows. Namenjene so, da vam pomagajo izkoristiti pospeševanje z GPU za vaše modele, kar izboljša zmogljivost in učinkovitost. -Dokument vsebuje navodila za: +Dokument ponuja navodila za: - Nastavitev okolja: Navodila za namestitev potrebnih odvisnosti, kot so CUDA, cuDNN in ONNX Runtime. -- Konfiguracijo: Kako nastaviti okolje in ONNX Runtime za učinkovito uporabo GPU virov. -- Nasvete za optimizacijo: Priporočila za fino nastavitev GPU nastavitev za optimalno delovanje. +- Konfiguracija: Kako konfigurirati okolje in ONNX Runtime za učinkovito uporabo GPU virov. +- Nasveti za optimizacijo: Nasveti, kako fino nastaviti nastavitve GPU za optimalno zmogljivost. ### **1. Python 3.10.x /3.11.8** - ***Note*** Priporočamo uporabo [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kot vaše Python okolje + ***Opomba*** Priporočamo uporabo [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kot vaše Python okolje ```bash @@ -20,9 +20,10 @@ Dokument vsebuje navodila za: ``` - ***Reminder*** Če imate nameščeno katerokoli Python ONNX knjižnico, jo prosim odstranite + ***Opomnik*** Če imate nameščeno katerokoli python ONNX knjižnico, jo prosim odstranite + +### **2. Namestite CMake z winget** -### **2. Namestitev CMake z winget** ```bash @@ -30,33 +31,36 @@ Dokument vsebuje navodila za: ``` -### **3. Namestitev Visual Studio 2022 - Desktop Development with C++** +### **3. Namestite Visual Studio 2022 - Namizni razvoj s C++** - ***Note*** Če ne želite prevajati, lahko ta korak preskočite + ***Opomba*** Če ne želite prevajati, lahko ta korak preskočite ![CPP](../../../../../../translated_images/sl/01.42f52a2b2aedff02.webp) -### **4. Namestitev NVIDIA gonilnika** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. Namestite NVIDIA gonilnik** + +1. **NVIDIA GPU gonilnik** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Prosimo, uporabite privzete nastavitve med namestitvijo +***Opomnik*** Prosimo, uporabite privzete nastavitve med namestitvenim potekom + +### **5. Nastavite NVIDIA okolje** + +Kopirajte NVIDIA CUDNN 9.4 datoteke lib, bin, include v NVIDIA CUDA 12.4 lib, bin, include -### **5. Nastavitev NVIDIA okolja** +- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* v *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -Kopirajte NVIDIA CUDNN 9.4 datoteke iz map lib, bin, include v ustrezne mape NVIDIA CUDA 12.4 +- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* v *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* -- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* v *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* v *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* v *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* -- kopirajte datoteke iz *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* v *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* +### **6. Prenesite Phi-3.5-mini-instruct-onnx** -### **6. Prenos Phi-3.5-mini-instruct-onnx** ```bash @@ -72,23 +76,28 @@ Kopirajte NVIDIA CUDNN 9.4 datoteke iz map lib, bin, include v ustrezne mape NVI ### **7. Zagon InferencePhi35Instruct.ipynb** - Odprite [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) in ga zaženite + Odprite [Zvezek](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) in ga zaženite + ![RESULT](../../../../../../translated_images/sl/02.b9b06996cf7255d5.webp) + ### **8. Prevajanje ORT GenAI GPU** - ***Note*** + + ***Opomba*** - 1. Najprej odstranite vse pakete, povezane z onnx, onnxruntime in onnxruntime-genai + 1. Prosim najprej odstranite vse povezano z onnx in onnxruntime ter onnxruntime-genai + ```bash pip list ``` - Nato odstranite vse onnxruntime knjižnice, npr. + Nato odstranite vse onnxruntime knjižnice, npr. + ```bash @@ -100,14 +109,18 @@ Kopirajte NVIDIA CUDNN 9.4 datoteke iz map lib, bin, include v ustrezne mape NVI ``` - 2. Preverite podporo Visual Studio Extension + 2. Preverite podporo za Visual Studio razširitev - Preverite mapo C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, da zagotovite, da obstaja C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Preverite C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, da zagotovite, da obstaja C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Če ni najdena, preverite druge mape Cuda toolkit gonilnikov in kopirajte mapo visual_studio_integration ter njeno vsebino v C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Če ni najdeno, preverite druge mape orodij Cuda in kopirajte mapo visual_studio_integration in vsebino v C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Če ne želite prevajati, lahko ta korak preskočite + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Kopirajte NVIDIA CUDNN 9.4 datoteke iz map lib, bin, include v ustrezne mape NVI - Prenesite [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Razširite onnxruntime-win-x64-gpu-1.19.2.zip, preimenujte mapo v **ort** in jo kopirajte v onnxruntime-genai + - Razširite onnxruntime-win-x64-gpu-1.19.2.zip in preimenujte mapo v **ort**, nato kopirajte mapo ort v onnxruntime-genai - - Uporabite Windows Terminal, odprite Developer Command Prompt za VS 2022 in pojdite v onnxruntime-genai + - Z uporabo Windows Terminal odprite Developer Command Prompt za VS 2022 in pojdite v onnxruntime-genai ![RESULT](../../../../../../translated_images/sl/03.b83ce473d5ff9b9b.webp) - - Prevedite z vašim Python okoljem + - Prevajajte z vašim python okoljem + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopirajte NVIDIA CUDNN 9.4 datoteke iz map lib, bin, include v ustrezne mape NVI ``` -**Omejitev odgovornosti**: -Ta dokument je bil preveden z uporabo AI prevajalske storitve [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da avtomatizirani prevodi lahko vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku velja za avtoritativni vir. Za ključne informacije priporočamo strokovni človeški prevod. Za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda, ne odgovarjamo. \ No newline at end of file +--- + + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo AI prevajalske storitve [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da avtomatizirani prevodi lahko vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za kritične informacije je priporočljiv strokovni človeški prevod. Ne odgovarjamo za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda. + \ No newline at end of file diff --git a/translations/sl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/sl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 66b6bf158..3371105eb 100644 --- a/translations/sl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/sl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ -# Uporaba Windows GPU za ustvarjanje rešitve Prompt flow s Phi-3.5-Instruct ONNX +# Uporaba Windows GPU za ustvarjanje rešitve Prompt flow s Phi-3.5-Instruct ONNX -Naslednji dokument je primer, kako uporabiti PromptFlow z ONNX (Open Neural Network Exchange) za razvoj AI aplikacij, temelječih na modelih Phi-3. +Naslednji dokument je primer, kako uporabiti PromptFlow z ONNX (Open Neural Network Exchange) za razvoj AI aplikacij na podlagi modelov Phi-3. -PromptFlow je zbirka razvojnih orodij, zasnovanih za poenostavitev celotnega razvojnega cikla AI aplikacij, ki temeljijo na LLM (Large Language Model), od ideje in prototipiranja do testiranja in ocenjevanja. +PromptFlow je zbirka razvojnih orodij, zasnovanih za poenostavitev celotnega razvojnega cikla AI aplikacij, temelječih na LLM (Large Language Model), od ideje in prototipiranja do testiranja in ocenjevanja. Z integracijo PromptFlow z ONNX lahko razvijalci: -- Optimizirajo zmogljivost modela: izkoristijo ONNX za učinkovito izvajanje in nameščanje modelov. -- Poenostavijo razvoj: uporabijo PromptFlow za upravljanje delovnega toka in avtomatizacijo ponavljajočih se opravil. -- Izboljšajo sodelovanje: omogočijo boljše sodelovanje med člani ekipe z enotnim razvojnim okoljem. +- Optimizirajo zmogljivost modela: Izkoristijo ONNX za učinkovito izvedbo in uvajanje modelov. +- Poenostavijo razvoj: Uporabijo PromptFlow za upravljanje delovnega toka in avtomatizacijo ponavljajočih se nalog. +- Izboljšajo sodelovanje: Omogočijo boljše sodelovanje med člani ekipe z zagotavljanjem enotnega razvojnega okolja. -**Prompt flow** je zbirka razvojnih orodij, namenjena poenostavitvi celotnega razvojnega cikla AI aplikacij, ki temeljijo na LLM, od ideje, prototipiranja, testiranja, ocenjevanja do produkcijske uvedbe in spremljanja. Olajša delo s prompt in omogoča gradnjo LLM aplikacij z produkcijsko kakovostjo. +**Prompt flow** je zbirka razvojnih orodij, zasnovanih za poenostavitev celotnega razvoja AI aplikacij, temelječih na LLM, od ideje, prototipiranja, testiranja, ocenjevanja do uvajanja v produkcijo in spremljanja. Poenostavi inženiring promptov ter omogoča gradnjo LLM aplikacij s produkcijsko kakovostjo. -Prompt flow se lahko poveže z OpenAI, Azure OpenAI Service in prilagodljivimi modeli (Huggingface, lokalni LLM/SLM). Upamo, da bomo lahko namestili kvantizirani ONNX model Phi-3.5 v lokalne aplikacije. Prompt flow nam lahko pomaga bolje načrtovati poslovanje in dokončati lokalne rešitve, ki temeljijo na Phi-3.5. V tem primeru bomo združili ONNX Runtime GenAI knjižnico za dokončanje rešitve Prompt flow na Windows GPU. +Prompt flow se lahko poveže z OpenAI, Azure OpenAI Service in prilagodljivimi modeli (Huggingface, lokalni LLM/SLM). Upamo, da bomo kvantiziran ONNX model Phi-3.5 namestili v lokalne aplikacije. Prompt flow nam lahko pomaga bolje načrtovati naš posel in dokončati lokalne rešitve na osnovi Phi-3.5. V tem primeru bomo združili ONNX Runtime GenAI knjižnico za dokončanje Prompt flow rešitve na Windows GPU. ## **Namestitev** ### **ONNX Runtime GenAI za Windows GPU** -Preberite ta vodič za nastavitev ONNX Runtime GenAI za Windows GPU [kliknite tukaj](./ORTWindowGPUGuideline.md) +Preberite ta vodnik za nastavitev ONNX Runtime GenAI za Windows GPU [kliknite tukaj](./ORTWindowGPUGuideline.md) ### **Nastavitev Prompt flow v VSCode** -1. Namestite Prompt flow razširitev za VS Code +1. Namestite Prompt flow VS Code Extension ![pfvscode](../../../../../../translated_images/sl/pfvscode.eff93dfc66a42cbe.webp) -2. Po namestitvi Prompt flow razširitve za VS Code kliknite na razširitev in izberite **Installation dependencies**, sledite temu vodiču za namestitev Prompt flow SDK v vašem okolju +2. Po namestitvi Prompt flow VS Code Extension, kliknite na razširitev in izberite **Installation dependencies**, sledite temu vodniku za namestitev Prompt flow SDK v vaše okolje ![pfsetup](../../../../../../translated_images/sl/pfsetup.b46e93096f5a254f.webp) -3. Prenesite [vzorec kode](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) in ga odprite v VS Code +3. Prenesite [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) in uporabite VS Code za odprtje tega vzorca ![pfsample](../../../../../../translated_images/sl/pfsample.8d89e70584ffe7c4.webp) @@ -38,21 +38,21 @@ Preberite ta vodič za nastavitev ONNX Runtime GenAI za Windows GPU [kliknite tu ![pfdag](../../../../../../translated_images/sl/pfdag.264a77f7366458ff.webp) - Odprite **chat_phi3_ort.py** in spremenite lokacijo vašega Phi-3.5-instruct ONNX modela + Odprite **chat_phi3_ort.py** za spremembo lokacije Phi-3.5-instruct ONNX modela ![pfphi](../../../../../../translated_images/sl/pfphi.72da81d74244b45f.webp) 5. Zaženite vaš prompt flow za testiranje -Odprite **flow.dag.yaml** in kliknite na vizualni urejevalnik +Odprite **flow.dag.yaml** in kliknite vizualni urejevalnik ![pfv](../../../../../../translated_images/sl/pfv.ba8a81f34b20f603.webp) -Po kliku zaženite, da testirate +Po kliku na to, zaženite in testirajte ![pfflow](../../../../../../translated_images/sl/pfflow.4e1135a089b1ce1b.webp) -1. V terminalu lahko zaženete batch, da preverite več rezultatov +1. Rezultate lahko preverite tudi z izvajanjem v terminalu za več rezultatov ```bash @@ -66,5 +66,9 @@ Rezultate lahko preverite v vašem privzetem brskalniku ![pfresult](../../../../../../translated_images/sl/pfresult.c22c826f8062d7cb.webp) -**Omejitev odgovornosti**: -Ta dokument je bil preveden z uporabo AI prevajalske storitve [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da avtomatizirani prevodi lahko vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku velja za avtoritativni vir. Za ključne informacije priporočamo strokovni človeški prevod. Za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda, ne odgovarjamo. \ No newline at end of file +--- + + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo AI prevajalske storitve [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da avtomatizirani prevodi lahko vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za kritične informacije je priporočljiv strokovni človeški prevod. Ne odgovarjamo za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda. + \ No newline at end of file diff --git a/translations/sr/.co-op-translator.json b/translations/sr/.co-op-translator.json index fb6154ba6..402192cc6 100644 --- a/translations/sr/.co-op-translator.json +++ b/translations/sr/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:26:30+00:00", + "translation_date": "2026-07-29T17:12:47+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "sr" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:47:38+00:00", + "translation_date": "2026-07-29T17:13:30+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "sr" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:03:59+00:00", + "translation_date": "2026-07-29T17:13:05+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "sr" }, diff --git a/translations/sr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/sr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index c4f2a55a8..94ee57fcd 100644 --- a/translations/sr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/sr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Како користити Model Builder за квантовање Phi-3.5** +# **Квантизација Phi породице користећи Generative AI додатке за onnxruntime** -Model Builder сада подржава квантовање ONNX модела за Phi-3.5 Instruct и Phi-3.5-Vision +## **Шта су Generative AI додаци за onnxruntime** + +Ови додаци вам помажу да покренете генеративни AI са ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Они пружају генеративну AI петљу за ONNX моделе, укључујући извођење са ONNX Runtime, обраду логита, претрагу и узорковање, и управљање KV кешом. Програмери могу позвати виши ниво generate() метод, или покренути сваки циклус модела у петљи, генеришући један токен по један и по избору ажурирати параметре генерисања унутар петље. Подржавају greedy/beam претрагу и TopP, TopK узорковање за генерисање низа токена као и уграђену обраду логита попут казни за понављање. Такође можете лако додати прилагођено оцењивање. + +На нивоу апликација, можете користити Generative AI додатке за onnxruntime за изградњу апликација користећи C++/ C# / Python. На нивоу модела, можете их користити за спајање финално обучених модела и извршити повезани квантитативни рад на имплементацији. + + +## **Квантизација Phi-3.5 са Generative AI додацима за onnxruntime** + +### **Подржани модели** + +Generative AI додаци за onnxruntime подржавају конверзију квантизације Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder у Generative AI додацима за onnxruntime** + +Model Builder значајно убрзава креирање оптимизованих и квантованих ONNX модела који раде са ONNX Runtime generate() API. + +Кроз Model Builder, можете квантизовати модел у INT4, INT8, FP16, FP32, и комбиновати различите методе хардверског убрзања као што су CPU, CUDA, DirectML, Mobile, итд. + +За коришћење Model Builder-а потребно је да инсталирате + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Након инсталације, можете покренути скрипту Model Builder из терминала да бисте извршили конверзију формата модела и квантизацију. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Разумевање релевантних параметара + +1. **model_name** Ово је модел са Hugging face-а, као што су microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, итд. Такође може бити и путања где чувате модел + +2. **path_to_output_folder** Путања за чување квантизоване конверзије + +3. **execution_provider** Подршка за различите хардверске акцелераторе, као што су cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Преузимамо модел са Hugging face-а и кеширамо га локално + + + + +***Напомена：*** + +## **Како користити Model Builder за квантизацију Phi-3.5** + +Model Builder тренутно подржава квантизацију ONNX модела за Phi-3.5 Instruct и Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU убрзана конверзија квантованог INT4** + +**ЦПУ убрзана конверзија квантизованог INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA убрзана конверзија квантованог INT4** +**CUDA убрзана конверзија квантизованог INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Подесите окружење у терминалу +1. Поставите окружење у терминалу ```bash @@ -40,10 +101,10 @@ cd models ``` -2. Преузмите microsoft/Phi-3.5-vision-instruct у фасциклу models +2. Преузмите microsoft/Phi-3.5-vision-instruct у фасциклу models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Молимо преузмите ове фајлове у вашу Phi-3.5-vision-instruct фасциклу +3. Молимо преузмите ове датотеке у Вашу Phi-3.5-vision-instruct фасциклу - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,34 +112,42 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Преузмите овај фајл у фасциклу models + +4. Преузмите ову датотеку у фасциклу models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Идите у терминал Конвертујте ONNX подршку са FP32 + ```bash python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu ``` -### **Напомена:** + +### **Напомена：** 1. Model Builder тренутно подржава конверзију Phi-3.5-Instruct и Phi-3.5-Vision, али не и Phi-3.5-MoE -2. Да бисте користили квантовани ONNX модел, можете га користити преко Generative AI extensions for onnxruntime SDK +2. За коришћење квантизованог модела ONNX, можете га користити преко Generative AI додатака за onnxruntime SDK -3. Потребно је размотрити одговорнији приступ AI-ју, па се након конверзије модела препоручује спровођење детаљнијег тестирања резултата +3. Потребно је да се више води рачуна о одговорном коришћењу AI, па се након квантизационе конверзије модела препоручује обављање ефикаснијих тестова резултата + +4. Квантизовањем CPU INT4 модела, можемо га имплементирати на Edge уређајима, који имају боље сценарије примене, тако да смо завршили Phi-3.5-Instruct око INT 4 -4. Квантовањем CPU INT4 модела можемо га распоредити на Edge уређаје, што пружа боље сценарије примене, па смо завршили Phi-3.5-Instruct око INT4 ## **Ресурси** -1. Сазнајте више о Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Сазнајте више о Generative AI додацима за onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Репозиторијум Generative AI додатака за onnxruntime на GitHub [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub репозиторијум [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Одрицање од одговорности**: -Овај документ је преведен коришћењем AI услуге за превођење [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да превод буде тачан, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитетним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода. \ No newline at end of file + +**Изјава о одрицању одговорности**: +Овај документ је преведен коришћењем услуге за аутоматски превод [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, имајте у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода. + \ No newline at end of file diff --git a/translations/sr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/sr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 0c9af751d..9b5c2a692 100644 --- a/translations/sr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/sr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -2,15 +2,15 @@ Ово упутство пружа кораке за подешавање и коришћење ONNX Runtime (ORT) са GPU-овима на Windows-у. Намењено је да вам помогне да искористите GPU акцелерацију за ваше моделе, побољшавајући перформансе и ефикасност. -Документ даје смернице о: +Документ пружа смернице за: -- Подешавање окружења: Упутства за инсталацију неопходних зависности као што су CUDA, cuDNN и ONNX Runtime. -- Конфигурација: Како подесити окружење и ONNX Runtime да ефикасно користе GPU ресурсе. -- Савети за оптимизацију: Препоруке како да подесите GPU за најбоље перформансе. +- Подешавање окружења: Упутства за инсталацију потребних зависности као што су CUDA, cuDNN и ONNX Runtime. +- Конфигурација: Како подесити окружење и ONNX Runtime за ефикасно коришћење GPU ресурса. +- Савети за оптимизацију: Савети како да фино подесите GPU подешавања ради оптималних перформанси. ### **1. Python 3.10.x /3.11.8** - ***Note*** Препоручује се коришћење [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) као вашег Python окружења + ***Напомена*** Препоручује се коришћење [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) као вашег Python окружења ```bash @@ -20,22 +20,24 @@ ``` - ***Reminder*** Ако сте инсталирали било коју Python ONNX библиотеку, молимо деинсталирајте је + ***Подсетник*** Ако сте инсталирали било коју ONNX библиотеку за Python, молимо деинсталирајте је ### **2. Инсталирајте CMake помоћу winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Инсталирајте Visual Studio 2022 - Desktop Development with C++** +### **3. Инсталирајте Visual Studio 2022 - Desktop Development са C++** - ***Note*** Ако не желите да компајлирате, можете прескочити овај корак + ***Напомена*** Ако не желите да компајлирате, можете прескочити овај корак ![CPP](../../../../../../translated_images/sr/01.42f52a2b2aedff02.webp) + ### **4. Инсталирајте NVIDIA драјвер** 1. **NVIDIA GPU драјвер** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Молимо користите подразумевана подешавања током инсталације +***Подсетник*** Молимо користите подразумевана подешавања током инсталације -### **5. Подешавање NVIDIA окружења** +### **5. Поставите NVIDIA окружење** -Копирајте NVIDIA CUDNN 9.4 lib, bin, include фолдере у NVIDIA CUDA 12.4 lib, bin, include +Копирајте NVIDIA CUDNN 9.4 lib, bin, include у NVIDIA CUDA 12.4 lib, bin, include -- копирајте фајлове из *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- копирајте фајлове са *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- копирајте фајлове из *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- копирајте фајлове са *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- копирајте фајлове са *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- копирајте фајлове из *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Преузмите Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ ``` -### **7. Покретање InferencePhi35Instruct.ipynb** +### **7. Покрените InferencePhi35Instruct.ipynb** + + Отворите [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) и извршите - Отворите [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) и извршите ![RESULT](../../../../../../translated_images/sr/02.b9b06996cf7255d5.webp) -### **8. Компилација ORT GenAI GPU** - ***Note*** +### **8. Компилирајте ORT GenAI GPU** + + + ***Напомена*** 1. Прво деинсталирајте све везано за onnx, onnxruntime и onnxruntime-genai + ```bash pip list ``` - Затим деинсталирајте све onnxruntime библиотеке, нпр. + Затим деинсталирајте све оннксртим библиотеке, нпр. + ```bash @@ -100,14 +109,18 @@ ``` - 2. Проверите подршку Visual Studio екстензије + 2. Проверите Visual Studio додатак - Проверите да ли у C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras постоји фолдер C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Проверите C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras да ли постоји фасцикла C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Ако није пронађен, проверите друге CUDA toolkit драјвер фолдере и копирајте фолдер visual_studio_integration и његов садржај у C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Ако није пронађена, проверите друге CUDA toolkit драјвер фасцикле и копирајте visual_studio_integration фасциклу и садржај у C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Ако не желите да компајлирате, можете прескочити овај корак + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ - Преузмите [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Распакујте onnxruntime-win-x64-gpu-1.19.2.zip, преименујте у **ort** и копирајте ort фолдер у onnxruntime-genai + - Распакујте onnxruntime-win-x64-gpu-1.19.2.zip, преименујте у **ort** и копирајте ort фасциклу у onnxruntime-genai - - Користећи Windows Terminal, отворите Developer Command Prompt за VS 2022 и идите у onnxruntime-genai + - Користећи Windows Terminal, идите у Developer Command Prompt за VS 2022 и отворите onnxruntime-genai ![RESULT](../../../../../../translated_images/sr/03.b83ce473d5ff9b9b.webp) - - Компилирајте користећи ваше Python окружење + - Компилирајте га са вашим python окружењем + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**Одрицање од одговорности**: -Овај документ је преведен коришћењем AI преводилачке услуге [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да превод буде тачан, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитетним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода. \ No newline at end of file +--- + + +**Изјава о одрицању одговорности**: +Овај документ је преведен коришћењем услуге за аутоматски превод [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, имајте у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода. + \ No newline at end of file diff --git a/translations/sr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/sr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index a8ad69aac..03cca0162 100644 --- a/translations/sr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/sr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,18 +1,18 @@ -# Коришћење Windows GPU-а за креирање Prompt flow решења са Phi-3.5-Instruct ONNX +# Коришћење Windows GPU-а за креирање решења Prompt flow са Phi-3.5-Instruct ONNX -Следећи документ је пример како користити PromptFlow са ONNX (Open Neural Network Exchange) за развој AI апликација заснованих на Phi-3 моделима. +Следећи документ је пример како користити PromptFlow са ONNX (Open Neural Network Exchange) за развој AI апликација на бази Phi-3 модела. -PromptFlow је скуп алата за развој дизајниран да поједностави цео циклус развоја AI апликација заснованих на LLM-овима (Large Language Model), од идеје и прототиповања до тестирања и евалуације. +PromptFlow је скуп развојних алата дизајниран да поједностави крајњи развојни циклус AI апликација заснованих на LLM-овима (Large Language Model), од идеје и прототипа до тестирања и евалуације. -Интеграцијом PromptFlow-а са ONNX-ом, програмери могу: +Интеграцијом PromptFlow са ONNX-ом, програмери могу: -- Оптимизовати перформансе модела: Искористити ONNX за ефикасно извођење и имплементацију модела. -- Поједноставити развој: Користити PromptFlow за управљање током рада и аутоматизацију понављајућих задатака. -- Побољшати сарадњу: Олакшати бољу сарадњу међу члановима тима пружајући јединствено развојно окружење. +- Оптимизовати перформансе модела: Искористити ONNX за ефикасно извођење и постављање модела. +- Једноставнији развој: Коришћењем PromptFlow-а за управљање током рада и аутоматизацију понављајућих задатака. +- Побољшати сарадњу: Олакшати бољу сарадњу међу члановима тима пружањем уједињеног развојног окружења. -**Prompt flow** је скуп алата за развој дизајниран да поједностави цео циклус развоја AI апликација заснованих на LLM-овима, од идеје, прототиповања, тестирања, евалуације до производног распореда и праћења. Чини инжењеринг упита знатно једноставнијим и омогућава вам да градите LLM апликације производног квалитета. +**Prompt flow** је скуп развојних алата дизајниран да поједностави цео развојни циклус AI апликација заснованих на LLM-овима, од идеје, прототиповања, тестирања и евалуације до производног постављања и праћења. Помиње inženjering упита чини знатно лакшим и омогућава креирање LLM апликација производног квалитета. -Prompt flow може да се повеже са OpenAI, Azure OpenAI Service и прилагодљивим моделима (Huggingface, локални LLM/SLM). Надамо се да ћемо имплементирати квантовани ONNX модел Phi-3.5 у локалне апликације. Prompt flow нам може помоћи да боље испланирамо пословање и завршимо локална решења заснована на Phi-3.5. У овом примеру ћемо комбиновати ONNX Runtime GenAI библиотеку да завршимо Prompt flow решење засновано на Windows GPU-у. +Prompt flow може да се повеже са OpenAI, Azure OpenAI Service, и прилагодљивим моделима (Huggingface, локални LLM/SLM). Надамо се да ћемо поставити квантовани ONNX модел Phi-3.5 у локалне апликације. Prompt flow нам може помоћи да боље планирамо пословање и комплетирамо локална решења базирана на Phi-3.5. У овом примеру комбинујемо ONNX Runtime GenAI библиотеку за комплетирање Prompt flow решења на бази Windows GPU-а. ## **Инсталација** @@ -26,33 +26,33 @@ Prompt flow може да се повеже са OpenAI, Azure OpenAI Service и ![pfvscode](../../../../../../translated_images/sr/pfvscode.eff93dfc66a42cbe.webp) -2. Након инсталације Prompt flow VS Code екстензије, кликните на екстензију и изаберите **Installation dependencies** пратите овај водич да инсталирате Prompt flow SDK у вашем окружењу +2. Након инсталације Prompt flow VS Code екстензије, кликните на екстензију и изаберите **Installation dependencies**, пратите овај водич да бисте инсталирали Prompt flow SDK у вашем окружењу ![pfsetup](../../../../../../translated_images/sr/pfsetup.b46e93096f5a254f.webp) -3. Преузмите [пример кода](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) и отворите га у VS Code-у +3. Преузмите [Пример кода](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) и отворите га у VS Code-у ![pfsample](../../../../../../translated_images/sr/pfsample.8d89e70584ffe7c4.webp) -4. Отворите **flow.dag.yaml** да изаберете ваше Python окружење +4. Отворите **flow.dag.yaml** и изаберите ваше Python окружење ![pfdag](../../../../../../translated_images/sr/pfdag.264a77f7366458ff.webp) - Отворите **chat_phi3_ort.py** да промените локацију вашег Phi-3.5-instruct ONNX модела + Отворите **chat_phi3_ort.py** да промените локацију Phi-3.5-instruct ONNX модела ![pfphi](../../../../../../translated_images/sr/pfphi.72da81d74244b45f.webp) -5. Покрените ваш prompt flow за тестирање +5. Покрените prompt flow да бисте тестирали -Отворите **flow.dag.yaml** и кликните на визуелни едитор +Отворите **flow.dag.yaml**, кликните на визуелни едитор ![pfv](../../../../../../translated_images/sr/pfv.ba8a81f34b20f603.webp) -Након клика, покрените га за тестирање +након клика, покрените га за тестирање ![pfflow](../../../../../../translated_images/sr/pfflow.4e1135a089b1ce1b.webp) -1. Можете покренути batch у терминалу да проверите више резултата +1. Можете покренути батч у терминалу за више резултата ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Резултате можете проверити у вашем подразумеваном прегледачу +Резултате можете видети у вашем подразумеваном претраживачу ![pfresult](../../../../../../translated_images/sr/pfresult.c22c826f8062d7cb.webp) -**Одрицање од одговорности**: -Овај документ је преведен коришћењем AI сервиса за превођење [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо прецизности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитетним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода. \ No newline at end of file +--- + + +**Изјава о одрицању одговорности**: +Овај документ је преведен коришћењем услуге за аутоматски превод [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, имајте у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода. + \ No newline at end of file diff --git a/translations/sv/.co-op-translator.json b/translations/sv/.co-op-translator.json index d61032214..ee545f471 100644 --- a/translations/sv/.co-op-translator.json +++ b/translations/sv/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:21:25+00:00", + "translation_date": "2026-07-29T18:30:34+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "sv" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:44:00+00:00", + "translation_date": "2026-07-29T18:31:11+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "sv" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:00:52+00:00", + "translation_date": "2026-07-29T18:30:48+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "sv" }, diff --git a/translations/sv/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/sv/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 3659ebbb7..01135fc81 100644 --- a/translations/sv/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/sv/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Hur man använder Model Builder för att kvantisera Phi-3.5** +# **Kvantisering av Phi-familjen med Generative AI-tillägg för onnxruntime** -Model Builder stöder nu ONNX-modellkvantisering för Phi-3.5 Instruct och Phi-3.5-Vision +## **Vad är Generative AI-tillägg för onnxruntime** + +Dessa tillägg hjälper dig att köra generativ AI med ONNX Runtime( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). De tillhandahåller den generativa AI-loopen för ONNX-modeller, inklusive inferens med ONNX Runtime, logit-processning, sökning och sampling samt hantering av KV-cache. Utvecklare kan anropa en metod på hög nivå generate(), eller köra varje iteration av modellen i en loop, generera en token i taget och valfritt uppdatera generationsparametrar inom loopen. Det finns stöd för greedy/beam-sökning och TopP, TopK-sampling för att generera tokensekvenser samt inbyggd logit-processning som repetitionsstraff. Du kan också enkelt lägga till egna poängsättningar. + +På applikationsnivå kan du använda Generative AI-tillägg för onnxruntime för att bygga applikationer med C++/C#/Python. På modelnivå kan du använda det för att slå ihop finjusterade modeller och utföra relaterat kvantitativt distributionsarbete. + + +## **Kvantisering av Phi-3.5 med Generative AI-tillägg för onnxruntime** + +### **Stödda modeller** + +Generative AI-tillägg för onnxruntime stödjer kvantiseringskonvertering av Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Model Builder i Generative AI-tillägg för onnxruntime** + +Model Builder påskyndar avsevärt skapandet av optimerade och kvantiserade ONNX-modeller som körs med ONNX Runtime generate() API. + +Via Model Builder kan du kvantisera modellen till INT4, INT8, FP16, FP32, och kombinera olika hårdvaruaccelerationstekniker som CPU, CUDA, DirectML, Mobile, etc. + +För att använda Model Builder behöver du installera + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Efter installation kan du köra Model Builder-skriptet från terminalen för att utföra modellformat- och kvantiseringskonvertering. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Förstå relevanta parametrar + +1. **model_name** Detta är modellen på Hugging Face, som microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, etc. Det kan också vara sökvägen där du lagrar modellen + +2. **path_to_output_folder** Sökväg för sparande av kvantiserad konvertering + +3. **execution_provider** Stöd för olika hårdvaruaccelerationer, som cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Vi laddar ner modellen från Hugging Face och cachar den lokalt + + + + +***Notera：*** + +## **Hur man använder Model Builder för kvantisering av Phi-3.5** + +Model Builder stödjer nu kvantisering av ONNX-modeller för Phi-3.5 Instruct och Phi-3.5-Vision ### **Phi-3.5-Instruct** -**CPU-accelererad konvertering till kvantiserad INT4** + +**CPU-accelererad konvertering av kvantiserad INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA-accelererad konvertering till kvantiserad INT4** +**CUDA-accelererad konvertering av kvantiserad INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Sätt upp miljön i terminalen +1. Sätt miljön i terminalen ```bash @@ -40,7 +101,7 @@ cd models ``` -2. Ladda ner microsoft/Phi-3.5-vision-instruct till mappen models +2. Ladda ner microsoft/Phi-3.5-vision-instruct i mapp för modeller [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Ladda ner dessa filer till din Phi-3.5-vision-instruct-mapp @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Ladda ner denna fil till mappen models + +4. Ladda ner denna fil till modellmappen [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Gå till terminalen - Konvertera ONNX med stöd för FP32 + Konvertera ONNX-stöd med FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Notera:** -1. Model Builder stöder för närvarande konvertering av Phi-3.5-Instruct och Phi-3.5-Vision, men inte Phi-3.5-MoE +1. Model Builder stödjer för närvarande konvertering av Phi-3.5-Instruct och Phi-3.5-Vision, men inte Phi-3.5-MoE -2. För att använda ONNX:s kvantiserade modell kan du använda den via Generative AI extensions for onnxruntime SDK +2. För att använda ONNXs kvantiserade modell kan du göra det via Generative AI-tillägg för onnxruntime SDK -3. Vi behöver ta hänsyn till mer ansvarsfull AI, så efter modellkvantiseringen rekommenderas det att genomföra mer noggranna tester av resultaten +3. Vi behöver tänka mer på ansvarsfull AI, så efter kvantiseringskonverteringen av modellen rekommenderas det att genomföra mer effektiv resultatutvärdering + +4. Genom att kvantisera CPU INT4-modellen kan vi distribuera den till Edge-enheter, som har bättre användningsscenarier, så vi har färdigställt Phi-3.5-Instruct kring INT 4 -4. Genom att kvantisera CPU INT4-modellen kan vi distribuera den till Edge-enheter, vilket ger bättre användningsscenarier, därför har vi slutfört Phi-3.5-Instruct runt INT4 ## **Resurser** -1. Läs mer om Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Lär dig mer om Generative AI-tillägg för onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Generative AI-tillägg för onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Ansvarsfriskrivning**: -Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, vänligen observera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för några missförstånd eller feltolkningar som uppstår vid användning av denna översättning. \ No newline at end of file + +**Ansvarsfriskrivning**: +Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, var vänlig notera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för några missförstånd eller feltolkningar som uppstår till följd av användningen av denna översättning. + \ No newline at end of file diff --git a/translations/sv/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/sv/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 45c5cde6d..510912f2b 100644 --- a/translations/sv/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/sv/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Riktlinjer för OnnxRuntime GenAI Windows GPU** +# **Riktlinje för OnnxRuntime GenAI Windows GPU** -Denna riktlinje ger steg för att ställa in och använda ONNX Runtime (ORT) med GPU:er på Windows. Den är utformad för att hjälpa dig att utnyttja GPU-acceleration för dina modeller, vilket förbättrar prestanda och effektivitet. +Denna riktlinje ger steg för att sätta upp och använda ONNX Runtime (ORT) med GPU:er på Windows. Den är utformad för att hjälpa dig att utnyttja GPU-acceleration för dina modeller, vilket förbättrar prestanda och effektivitet. Dokumentet ger vägledning om: -- Miljöinställning: Instruktioner för att installera nödvändiga beroenden som CUDA, cuDNN och ONNX Runtime. -- Konfiguration: Hur du konfigurerar miljön och ONNX Runtime för att effektivt använda GPU-resurser. +- Miljöuppsättning: Instruktioner för att installera nödvändiga beroenden som CUDA, cuDNN och ONNX Runtime. +- Konfiguration: Hur man konfigurerar miljön och ONNX Runtime för att effektivt använda GPU-resurser. - Optimeringstips: Råd om hur du finjusterar dina GPU-inställningar för optimal prestanda. ### **1. Python 3.10.x /3.11.8** - ***Note*** Vi rekommenderar att använda [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) som din Python-miljö + ***Notera*** Föreslår att använda [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) som din Python-miljö ```bash @@ -20,10 +20,11 @@ Dokumentet ger vägledning om: ``` - ***Reminder*** Om du har installerat något Python ONNX-bibliotek, vänligen avinstallera det + ***Påminnelse*** Om du har installerat något angående python ONNX-bibliotek, vänligen avinstallera det ### **2. Installera CMake med winget** + ```bash winget install -e --id Kitware.CMake @@ -32,32 +33,35 @@ Dokumentet ger vägledning om: ### **3. Installera Visual Studio 2022 - Desktop Development med C++** - ***Note*** Om du inte vill kompilera kan du hoppa över detta steg + ***Notera*** Om du inte vill kompilera kan du hoppa över detta steg ![CPP](../../../../../../translated_images/sv/01.42f52a2b2aedff02.webp) + ### **4. Installera NVIDIA-drivrutin** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) -3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) +3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Använd standardinställningarna under installationen +***Påminnelse*** Vänligen använd standardinställningar vid installationsflödet ### **5. Ställ in NVIDIA-miljö** Kopiera NVIDIA CUDNN 9.4 lib, bin, include till NVIDIA CUDA 12.4 lib, bin, include -- kopiera filer från *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* till *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- kopiera *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* filer till *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- kopiera filer från *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* till *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- kopiera *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* filer till *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- kopiera *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* filer till *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopiera filer från *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* till *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Ladda ner Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -70,25 +74,30 @@ Kopiera NVIDIA CUDNN 9.4 lib, bin, include till NVIDIA CUDA 12.4 lib, bin, inclu ``` -### **7. Kör InferencePhi35Instruct.ipynb** +### **7. Köra InferencePhi35Instruct.ipynb** - Öppna [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) och kör den + Öppna [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) och kör + + +![RESULTAT](../../../../../../translated_images/sv/02.b9b06996cf7255d5.webp) -![RESULT](../../../../../../translated_images/sv/02.b9b06996cf7255d5.webp) ### **8. Kompilera ORT GenAI GPU** - ***Note*** + + ***Notera*** - 1. Avinstallera först allt som rör onnx, onnxruntime och onnxruntime-genai + 1. Vänligen avinstallera allt som rör onnx och onnxruntime och onnxruntime-genai först + ```bash pip list ``` - Avinstallera sedan alla onnxruntime-bibliotek, t.ex. + Avinstallera sedan alla onnxruntime-bibliotek dvs. + ```bash @@ -100,14 +109,18 @@ Kopiera NVIDIA CUDNN 9.4 lib, bin, include till NVIDIA CUDA 12.4 lib, bin, inclu ``` - 2. Kontrollera stöd för Visual Studio Extension + 2. Kontrollera stöd för Visual Studio Extension - Kontrollera i C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras att mappen C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration finns. + Kontrollera C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras för att säkerställa att C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration finns. - Om den inte finns, kontrollera andra CUDA toolkit-drivrutinsmappar och kopiera mappen visual_studio_integration och dess innehåll till C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Om det inte finns, kontrollera andra Cuda toolkit-drivrutinsmappar och kopiera mappen visual_studio_integration och dess innehåll till C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Om du inte vill kompilera kan du hoppa över detta steg + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Kopiera NVIDIA CUDNN 9.4 lib, bin, include till NVIDIA CUDA 12.4 lib, bin, inclu - Ladda ner [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Packa upp onnxruntime-win-x64-gpu-1.19.2.zip, byt namn på mappen till **ort**, och kopiera ort-mappen till onnxruntime-genai + - Packa upp onnxruntime-win-x64-gpu-1.19.2.zip och byt namn till **ort**, kopiera ort-mappen till onnxruntime-genai - - Använd Windows Terminal, öppna Developer Command Prompt för VS 2022 och gå till onnxruntime-genai + - Använd Windows Terminal, gå till Developer Command Prompt för VS 2022 och gå till onnxruntime-genai -![RESULT](../../../../../../translated_images/sv/03.b83ce473d5ff9b9b.webp) +![RESULTAT](../../../../../../translated_images/sv/03.b83ce473d5ff9b9b.webp) - - Kompilera med din Python-miljö + - Kompilera det med din python-miljö + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopiera NVIDIA CUDNN 9.4 lib, bin, include till NVIDIA CUDA 12.4 lib, bin, inclu ``` -**Ansvarsfriskrivning**: -Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, vänligen observera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för eventuella missförstånd eller feltolkningar som uppstår vid användning av denna översättning. \ No newline at end of file +--- + + +**Ansvarsfriskrivning**: +Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, var vänlig notera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för några missförstånd eller feltolkningar som uppstår till följd av användningen av denna översättning. + \ No newline at end of file diff --git a/translations/sv/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/sv/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index f9aa1f626..0d41d5aba 100644 --- a/translations/sv/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/sv/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,8 +1,8 @@ -# Använda Windows GPU för att skapa Prompt flow-lösning med Phi-3.5-Instruct ONNX +# Använda Windows GPU för att skapa Prompt flow-lösning med Phi-3.5-Instruct ONNX Följande dokument är ett exempel på hur man använder PromptFlow med ONNX (Open Neural Network Exchange) för att utveckla AI-applikationer baserade på Phi-3-modeller. -PromptFlow är en uppsättning utvecklingsverktyg som är utformade för att effektivisera hela utvecklingscykeln för LLM-baserade (Large Language Model) AI-applikationer, från idé och prototypframtagning till testning och utvärdering. +PromptFlow är en svit av utvecklingsverktyg utformade för att förenkla hela utvecklingscykeln för LLM-baserade (Large Language Model) AI-applikationer, från idéstadiet och prototypframställning till testning och utvärdering. Genom att integrera PromptFlow med ONNX kan utvecklare: @@ -10,15 +10,15 @@ Genom att integrera PromptFlow med ONNX kan utvecklare: - Förenkla utvecklingen: Använd PromptFlow för att hantera arbetsflödet och automatisera repetitiva uppgifter. - Förbättra samarbetet: Underlätta bättre samarbete mellan teammedlemmar genom att erbjuda en enhetlig utvecklingsmiljö. -**Prompt flow** är en uppsättning utvecklingsverktyg som är utformade för att effektivisera hela utvecklingscykeln för LLM-baserade AI-applikationer, från idé, prototypframtagning, testning, utvärdering till produktionssättning och övervakning. Det gör prompt engineering mycket enklare och gör det möjligt att bygga LLM-appar med produktionskvalitet. +**Prompt flow** är en svit av utvecklingsverktyg utformade för att göra hela utvecklingscykeln för LLM-baserade AI-applikationer smidigare, från idégenerering, prototypframställning, testning, utvärdering till produktionsdistribution och övervakning. Det gör prompt-engineering mycket enklare och möjliggör att bygga LLM-appar med produktionskvalitet. -Prompt flow kan kopplas till OpenAI, Azure OpenAI Service och anpassningsbara modeller (Huggingface, lokala LLM/SLM). Vi hoppas kunna distribuera Phi-3.5:s kvantiserade ONNX-modell till lokala applikationer. Prompt flow kan hjälpa oss att bättre planera vår verksamhet och slutföra lokala lösningar baserade på Phi-3.5. I detta exempel kommer vi att kombinera ONNX Runtime GenAI Library för att slutföra Prompt flow-lösningen baserad på Windows GPU. +Prompt flow kan ansluta till OpenAI, Azure OpenAI Service och anpassningsbara modeller (Huggingface, lokal LLM/SLM). Vi hoppas kunna distribuera Phi-3.5:s kvantiserade ONNX-modell till lokala applikationer. Prompt flow kan hjälpa oss att bättre planera vår verksamhet och fullfölja lokala lösningar baserade på Phi-3.5. I detta exempel kombinerar vi ONNX Runtime GenAI Library för att slutföra Prompt flow-lösningen baserat på Windows GPU. ## **Installation** ### **ONNX Runtime GenAI för Windows GPU** -Läs denna riktlinje för att ställa in ONNX Runtime GenAI för Windows GPU [klicka här](./ORTWindowGPUGuideline.md) +Läs denna riktlinje för att ställa in ONNX Runtime GenAI för Windows GPU [click here](./ORTWindowGPUGuideline.md) ### **Ställ in Prompt flow i VSCode** @@ -30,7 +30,7 @@ Läs denna riktlinje för att ställa in ONNX Runtime GenAI för Windows GPU [kl ![pfsetup](../../../../../../translated_images/sv/pfsetup.b46e93096f5a254f.webp) -3. Ladda ner [Exempelkod](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) och öppna detta exempel i VS Code +3. Ladda ner [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) och öppna detta exempel i VS Code ![pfsample](../../../../../../translated_images/sv/pfsample.8d89e70584ffe7c4.webp) @@ -44,15 +44,15 @@ Läs denna riktlinje för att ställa in ONNX Runtime GenAI för Windows GPU [kl 5. Kör din prompt flow för testning -Öppna **flow.dag.yaml** och klicka på visual editor +Öppna **flow.dag.yaml** och klicka på visuell editor ![pfv](../../../../../../translated_images/sv/pfv.ba8a81f34b20f603.webp) -Efter att ha klickat på detta, kör den för att testa +efter att ha klickat på detta, kör det för att testa ![pfflow](../../../../../../translated_images/sv/pfflow.4e1135a089b1ce1b.webp) -1. Du kan köra batch i terminalen för att se fler resultat +1. Du kan köra batch i terminalen för att kontrollera fler resultat ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Du kan se resultaten i din standardwebbläsare +Du kan kontrollera resultaten i din standardwebbläsare ![pfresult](../../../../../../translated_images/sv/pfresult.c22c826f8062d7cb.webp) -**Ansvarsfriskrivning**: -Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, vänligen observera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för några missförstånd eller feltolkningar som uppstår till följd av användningen av denna översättning. \ No newline at end of file +--- + + +**Ansvarsfriskrivning**: +Detta dokument har översatts med hjälp av AI-översättningstjänsten [Co-op Translator](https://github.com/Azure/co-op-translator). Även om vi strävar efter noggrannhet, var vänlig notera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för några missförstånd eller feltolkningar som uppstår till följd av användningen av denna översättning. + \ No newline at end of file diff --git a/translations/sw/.co-op-translator.json b/translations/sw/.co-op-translator.json index e5d8eeccd..6b0c92969 100644 --- a/translations/sw/.co-op-translator.json +++ b/translations/sw/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:24:40+00:00", + "translation_date": "2026-07-29T16:53:19+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "sw" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:46:11+00:00", + "translation_date": "2026-07-29T16:54:08+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "sw" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:02:50+00:00", + "translation_date": "2026-07-29T16:53:41+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "sw" }, diff --git a/translations/sw/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/sw/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 8fb0fd1f0..75774a53c 100644 --- a/translations/sw/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/sw/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Jinsi ya kutumia Model Builder kuquantize Phi-3.5** +# **Kuongeza Ukubwa wa Familia ya Phi kwa kutumia nyongeza za AI Zinazozalisha kwa onnxruntime** -Model Builder sasa inaunga mkono kuquantize modeli za ONNX za Phi-3.5 Instruct na Phi-3.5-Vision +## **Nini ni nyongeza za AI Zinazozalisha kwa onnxruntime** + +Nyongeza hizi zinakusaidia kuendesha AI zinazozalisha kwa ONNX Runtime( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Zinatoa mzunguko wa AI zinazozalisha kwa modeli za ONNX, ikijumuisha utambuzi kwa ONNX Runtime, usindikaji wa logits, utafutaji na sampuli, na usimamizi wa cache ya KV. Waendelezaji wanaweza kuita mbinu ya juu generate(), au kuendesha kila mzunguko wa modeli katika mzunguko, wakizalisha token moja kwa wakati, na hiari kusasisha vigezo vya kizazi ndani ya mzunguko. Ina msaada wa utafutaji wa wivu/beam na sampuli za TopP, TopK kuzalisha mfululizo wa tokeni na usindikaji wa logits uliojengwa kama adhabu za marudio. Unaweza pia kuongeza alama za kitaalamu kwa urahisi. + +Kiwango cha programu, unaweza kutumia nyongeza za AI Zinazozalisha kwa onnxruntime kujenga programu kwa kutumia C++/ C# / Python. Kiwango cha modeli, unaweza kuitumia kuunganisha modeli zilizofanyiwa mazoezi maalum na kufanya kazi zinazohusiana na usambazaji wa kiasi. + + +## **Kuweka Ukubwa wa Phi-3.5 kwa kutumia nyongeza za AI Zinazozalisha kwa onnxruntime** + +### **Modeli Zinazounga Mkono** + +Nyongeza za AI Zinazozalisha kwa onnxruntime zinaunga mkono uongofu wa kuwekeza wa Microsoft Phi, Google Gemma, Mistral, Meta LLaMA。 + + +### **Mtengenezaji wa Modeli katika nyongeza za AI Zinazozalisha kwa onnxruntime** + +Mtengenezaji wa modeli huongeza kasi sana katika kuunda modeli za ONNX zilizoboreshwa na kuwekewa ukubwa zinazoendesha kwa API ya generate() ya ONNX Runtime. + +Kupitia Mtengenezaji wa Modeli, unaweza kuwekeza ukubwa wa modeli kuwa INT4, INT8, FP16, FP32, na kuunganisha mbinu tofauti za kuongeza kasi ya vifaa kama CPU, CUDA, DirectML, Simu, n.k. + +Ili kutumia Mtengenezaji wa Modeli unahitaji kufunga + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Baada ya ufungaji, unaweza kuendesha script ya Mtengenezaji wa Modeli kutoka kwa terminal kufanya mabadiliko ya muundo wa modeli na uongofu wa kuwekeza ukubwa. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Elewa vigezo vinavyohusiana + +1. **model_name** Hii ni modeli kwenye Hugging face, kama microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, n.k. Pia inaweza kuwa njia ambayo unahifadhi modeli + +2. **path_to_output_folder** Njia ya kuhifadhi uongofu wa kuweka ukubwa + +3. **execution_provider** Msaada wa vifaa vya kuongeza kasi tofauti, kama cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Tunapakua modeli kutoka Hugging face na kuihifadhi kwa mda mfupi eneo la mahali + + + + +***Kumbuka：*** + +## **Jinsi ya kutumia Mtengenezaji wa Modeli kuwekeza ukubwa wa Phi-3.5** + +Mtengenezaji wa Modeli sasa unaunga mkono kuweka ukubwa wa modeli za ONNX kwa Phi-3.5 Instruct na Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Ubadilishaji wa kuharakishwa na CPU wa INT4 iliyopimwa** + +**Uongofu ulioboreshwa na CPU wa kuwekeza ukubwa INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Ubadilishaji wa kuharakishwa na CUDA wa INT4 iliyopimwa** +**Uongofu ulioboreshwa na CUDA wa kuwekeza ukubwa INT 4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,7 +101,7 @@ cd models ``` -2. Pakua microsoft/Phi-3.5-vision-instruct kwenye folda ya models +2. Pakua microsoft/Phi-3.5-vision-instruct kwenye folda ya modeli [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Tafadhali pakua faili hizi kwenye folda yako ya Phi-3.5-vision-instruct @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Pakua faili hii kwenye folda ya models + +4. Pakua faili hii kwenye folda ya modeli [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Nenda kwenye terminal - Badilisha ONNX kuunga mkono FP32 + Geuza msaada wa ONNX kwa FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Kumbuka：** -1. Model Builder kwa sasa inaunga mkono ubadilishaji wa Phi-3.5-Instruct na Phi-3.5-Vision, lakini si Phi-3.5-MoE +1. Mtengenezaji wa Modeli kwa sasa unaunga mkono uongofu wa Phi-3.5-Instruct na Phi-3.5-Vision, lakini si Phi-3.5-MoE -2. Ili kutumia modeli iliyopimwa ya ONNX, unaweza kuitumia kupitia Generative AI extensions for onnxruntime SDK +2. Ili kutumia modeli iliyowekwa ukubwa wa ONNX, unaweza kuitumia kupitia SDK ya nyongeza za AI Zinazozalisha kwa onnxruntime -3. Tunahitaji kuzingatia AI yenye uwajibikaji zaidi, hivyo baada ya ubadilishaji wa kuquantize modeli, inashauriwa kufanya majaribio ya matokeo yenye ufanisi zaidi +3. Tunahitaji kuzingatia AI yenye uwajibikaji zaidi, hivyo baada ya uongofu wa kuwekeza ukubwa wa modeli, inapendekezwa kufanya majaribio ya matokeo yenye ufanisi zaidi + +4. Kwa kuwekeza ukubwa wa modeli ya CPU INT4, tunaweza kuisambaza kwenye Kifaa cha Edge, ambacho kina matukio bora ya matumizi, hivyo tumemaliza Phi-3.5-Instruct kuhusu INT 4 -4. Kwa kuquantize modeli ya CPU INT4, tunaweza kuipeleka kwenye Edge Device, ambayo ina mazingira bora ya matumizi, hivyo tumemaliza Phi-3.5-Instruct kwa INT4 ## **Rasilimali** -1. Jifunze zaidi kuhusu Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Jifunze zaidi kuhusu nyongeza za AI Zinazozalisha kwa onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Hazina ya GitHub ya nyongeza za AI Zinazozalisha kwa onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub Repo [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Kiarifu cha Kutotegemea**: -Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu inayofanywa na binadamu inapendekezwa. Hatubebei dhamana kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file + +**Kionyozo**: +Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kupata usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati ya asili katika lugha yake halisi inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu inayofanywa na binadamu inapendekezwa. Hatutojibu kwa kuelewa vibaya au tafsiri potofu zinazotokea kutokana na matumizi ya tafsiri hii. + \ No newline at end of file diff --git a/translations/sw/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/sw/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 481e96696..672b871ac 100644 --- a/translations/sw/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/sw/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **Mwongozo wa OnnxRuntime GenAI Windows GPU** +# **Miongozo kwa OnnxRuntime GenAI Windows GPU** -Mwongozo huu unatoa hatua za kusanidi na kutumia ONNX Runtime (ORT) kwa GPUs kwenye Windows. Umebuniwa kukusaidia kutumia kasi ya GPU kwa mifano yako, kuboresha utendaji na ufanisi. +Miongozo hii inatoa hatua za kusanidi na kutumia ONNX Runtime (ORT) na GPUs kwenye Windows. Imeundwa kusaidia kutumia kasi ya GPU kwa mifano yako, kuboresha utendaji na ufanisi. -Nyaraka hii inatoa mwongozo kuhusu: +Hati hii inatoa mwongozo juu ya: -- Usanidi wa Mazingira: Maelekezo ya kusanidi utegemezi muhimu kama CUDA, cuDNN, na ONNX Runtime. -- Usanidi: Jinsi ya kusanidi mazingira na ONNX Runtime kutumia rasilimali za GPU kwa ufanisi. -- Vidokezo vya Uboreshaji: Ushauri wa jinsi ya kurekebisha mipangilio ya GPU kwa utendaji bora. +- Usanidi wa Mazingira: Maelekezo juu ya kufunga utegemezi muhimu kama CUDA, cuDNN, na ONNX Runtime. +- Usanidi: Jinsi ya kusanidi mazingira na ONNX Runtime ili kutumia rasilimali za GPU kikamilifu. +- Vidokezo vya Uboreshaji: Ushauri jinsi ya kuboresha mipangilio ya GPU kwa utendaji bora. ### **1. Python 3.10.x /3.11.8** - ***Note*** Pendekeza kutumia [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kama mazingira yako ya Python + ***Kumbuka*** Pendekeza kutumia [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kama mazingira yako ya Python ```bash @@ -20,9 +20,10 @@ Nyaraka hii inatoa mwongozo kuhusu: ``` - ***Reminder*** Ikiwa umeweka maktaba yoyote ya python ONNX, tafadhali ifute + ***Kikumbusho*** Ikiwa umesakinisha maktaba yoyote ya python ONNX, tafadhali iondoe + +### **2. Sakinisha CMake kwa kutumia winget** -### **2. Sakinisha CMake kwa winget** ```bash @@ -30,34 +31,37 @@ Nyaraka hii inatoa mwongozo kuhusu: ``` -### **3. Sakinisha Visual Studio 2022 - Maendeleo ya Desktop na C++** +### **3. Sakinisha Visual Studio 2022 - Maendeleo ya Desktop kwa C++** - ***Note*** Ikiwa hutaki kukusanya unaweza ruka hatua hii + ***Kumbuka*** Ikiwa hautaki kukusanya unaweza kuruka hatua hii ![CPP](../../../../../../translated_images/sw/01.42f52a2b2aedff02.webp) + ### **4. Sakinisha Dereva wa NVIDIA** -1. **Dereva wa NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **Dereva ya GPU ya NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Tafadhali tumia mipangilio ya chaguo-msingi wakati wa usakinishaji +***Kikumbusho*** Tafadhali tumia mipangilio ya chaguo-msingi wakati wa mchakato wa Usakinishaji ### **5. Weka Mazingira ya NVIDIA** Nakili maktaba za NVIDIA CUDNN 9.4 lib, bin, include kwenda NVIDIA CUDA 12.4 lib, bin, include -- nakili faili za *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* kwenda *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- nakili faili *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* kwenda *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- nakili faili za *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* kwenda *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- nakili faili *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* kwenda *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- nakili faili *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* kwenda *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- nakili faili za *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* kwenda *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Pakua Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Nakili maktaba za NVIDIA CUDNN 9.4 lib, bin, include kwenda NVIDIA CUDA 12.4 lib ### **7. Endesha InferencePhi35Instruct.ipynb** - Fungua [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) na utekeleze + Fungua [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) na fanya utekelezaji + ![RESULT](../../../../../../translated_images/sw/02.b9b06996cf7255d5.webp) + ### **8. Kusanya ORT GenAI GPU** - ***Note*** + + ***Kumbuka*** - 1. Tafadhali futa kwanza zote zinazohusiana na onnx, onnxruntime na onnxruntime-genai + 1. Tafadhali ondoa yote kuhusu onnx na onnxruntime na onnxruntime-genai kwanza + ```bash pip list ``` - Kisha futa maktaba zote za onnxruntime, yaani + Kisha ondoa maktaba zote za onnxruntime yaani + ```bash @@ -100,13 +109,17 @@ Nakili maktaba za NVIDIA CUDNN 9.4 lib, bin, include kwenda NVIDIA CUDA 12.4 lib ``` - 2. Angalia msaada wa Visual Studio Extension + 2. Kagua msaada wa Ongeza ya Visual Studio - Angalia C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras kuhakikisha C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ipo. + Kagua C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras ili kuhakikisha C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration ipo. - Ikiwa haipatikani angalia folda nyingine za Cuda toolkit driver na nakili folda ya visual_studio_integration pamoja na yaliyomo kwenda C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Ikiwa haipatikani angalia folda nyingine za CUDA toolkit dereva na nakili folda ya visual_studio_integration na yaliyomo kwenda C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Ikiwa hautaki kukusanya unaweza kuruka hatua hii - - Ikiwa hutaki kukusanya unaweza ruka hatua hii ```bash @@ -116,14 +129,15 @@ Nakili maktaba za NVIDIA CUDNN 9.4 lib, bin, include kwenda NVIDIA CUDA 12.4 lib - Pakua [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Fungua onnxruntime-win-x64-gpu-1.19.2.zip, kisha ibadilishe jina kuwa **ort**, nakili folda ya ort kwenda onnxruntime-genai + - Fungua onnxruntime-win-x64-gpu-1.19.2.zip , na uitaje tena kuwa **ort**, nakili folda ya ort kwenye onnxruntime-genai - - Tumia Windows Terminal, nenda kwenye Developer Command Prompt for VS 2022 na uende kwenye onnxruntime-genai + - Kutumia Windows Terminal, nenda kwenye Deveopler Command Prompt kwa VS 2022 na uende kwenye onnxruntime-genai ![RESULT](../../../../../../translated_images/sw/03.b83ce473d5ff9b9b.webp) - - Kusanya kwa kutumia mazingira yako ya python + - Kusanya kwa mazingira yako ya python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Nakili maktaba za NVIDIA CUDNN 9.4 lib, bin, include kwenda NVIDIA CUDA 12.4 lib ``` -**Kiarifu cha Msamaha**: -Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kuhakikisha usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu inayofanywa na binadamu inashauriwa. Hatuna dhamana kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file +--- + + +**Kionyozo**: +Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kupata usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati ya asili katika lugha yake halisi inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu inayofanywa na binadamu inapendekezwa. Hatutojibu kwa kuelewa vibaya au tafsiri potofu zinazotokea kutokana na matumizi ya tafsiri hii. + \ No newline at end of file diff --git a/translations/sw/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/sw/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 80c768649..4f89c47ff 100644 --- a/translations/sw/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/sw/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,32 +1,32 @@ -# Kutumia Windows GPU kuunda suluhisho la Prompt flow na Phi-3.5-Instruct ONNX +# Kutumia GPU ya Windows kuunda suluhisho la Prompt flow kwa Phi-3.5-Instruct ONNX -Hati ifuatayo ni mfano wa jinsi ya kutumia PromptFlow na ONNX (Open Neural Network Exchange) kwa ajili ya kuendeleza programu za AI zinazotegemea mifano ya Phi-3. +Hati ifuatayo ni mfano wa jinsi ya kutumia PromptFlow na ONNX (Open Neural Network Exchange) kwa ajili ya kuendeleza programu za AI based on models za Phi-3. -PromptFlow ni seti ya zana za maendeleo zilizoundwa kurahisisha mzunguko mzima wa maendeleo ya programu za AI zinazotegemea LLM (Large Language Model), kuanzia mawazo na uundaji wa prototipu hadi upimaji na tathmini. +PromptFlow ni mfululizo wa zana za maendeleo zilizoundwa kurahisisha mzunguko mzima wa maendeleo ya programu za AI za LLM (Large Language Model), kutoka kwenye mawazo na usanifu hadi upimaji na tathmini. -Kwa kuunganisha PromptFlow na ONNX, waendelezaji wanaweza: +Kwa kuunganisha PromptFlow na ONNX, watengenezaji wanaweza: -- Kuboresha Utendaji wa Mfano: Tumia ONNX kwa ufanisi wa utambuzi na usambazaji wa modeli. -- Kurahisisha Maendeleo: Tumia PromptFlow kusimamia mtiririko wa kazi na kuendesha kazi zinazojirudia kiotomatiki. +- Kuboresha Utendaji wa Modeli: Tumia ONNX kwa ufanisi wa kutafsiri na kusambaza modeli. +- Kuweka Rahisi Maendeleo: Tumia PromptFlow kudhibiti mtiririko wa kazi na kuendesha kazi zinazojirudia kiotomatiki. - Kuongeza Ushirikiano: Rahisisha ushirikiano kati ya wanachama wa timu kwa kutoa mazingira ya maendeleo yaliyojumuishwa. -**Prompt flow** ni seti ya zana za maendeleo zilizoundwa kurahisisha mzunguko mzima wa maendeleo ya programu za AI zinazotegemea LLM, kuanzia mawazo, uundaji wa prototipu, upimaji, tathmini hadi usambazaji wa uzalishaji na ufuatiliaji. Inafanya uhandisi wa prompt kuwa rahisi zaidi na inakuwezesha kujenga programu za LLM zenye ubora wa uzalishaji. +**Prompt flow** ni mfululizo wa zana za maendeleo zilizoundwa kurahisisha mzunguko mzima wa maendeleo ya programu za AI za LLM, kutoka kwenye mawazo, usanifu, upimaji, tathmini hadi kusambaza kwa uzalishaji na ufuatiliaji. Inafanya uhandisi wa prompt kuwa rahisi zaidi na inakuwezesha kujenga programu za LLM zenye ubora wa uzalishaji. -Prompt flow inaweza kuunganishwa na OpenAI, Azure OpenAI Service, na mifano inayoweza kubadilishwa (Huggingface, LLM/SLM za ndani). Tunatarajia kusambaza modeli ya ONNX ya Phi-3.5 iliyopimwa kwa programu za ndani. Prompt flow inaweza kutusaidia kupanga biashara yetu vizuri na kukamilisha suluhisho za ndani zinazotegemea Phi-3.5. Katika mfano huu, tutachanganya ONNX Runtime GenAI Library kukamilisha suluhisho la Prompt flow linalotegemea Windows GPU. +Prompt flow inaweza kuunganishwa na OpenAI, Azure OpenAI Service, na modeli zinazoweza kubadilishwa (Huggingface, LLM/SLM za eneo la karibu). Tunatarajia kusambaza modeli ya ONNX ya Phi-3.5 iliyopimwa kwenye programu za eneo la karibu. Prompt flow inaweza kutusaidia kupanga biashara yetu vizuri zaidi na kukamilisha suluhisho za eneo la karibu zinazotegemea Phi-3.5. Katika mfano huu, tutachanganya Maktaba ya ONNX Runtime GenAI kumaliza suluhisho la Prompt flow kwa msingi wa Windows GPU. ## **Usanidi** ### **ONNX Runtime GenAI kwa Windows GPU** -Soma mwongozo huu kuweka ONNX Runtime GenAI kwa Windows GPU [bonyeza hapa](./ORTWindowGPUGuideline.md) +Soma mwongozo huu ili kuweka ONNX Runtime GenAI kwa Windows GPU [bonyeza hapa](./ORTWindowGPUGuideline.md) ### **Sanidi Prompt flow katika VSCode** -1. Sakinisha Prompt flow VS Code Extension +1. Sakinisha Programu-jalizi ya Prompt flow VS Code ![pfvscode](../../../../../../translated_images/sw/pfvscode.eff93dfc66a42cbe.webp) -2. Baada ya kusakinisha Prompt flow VS Code Extension, bonyeza extension hiyo, kisha chagua **Installation dependencies** fuata mwongozo huu kusakinisha Prompt flow SDK katika mazingira yako +2. Baada ya kusakinisha Programu-jalizi ya Prompt flow VS Code，bonyeza programu-jalizi hiyo，kisha chagua **Installation dependencies** fuata mwongozo huu kusakinisha Prompt flow SDK katika mazingira yako ![pfsetup](../../../../../../translated_images/sw/pfsetup.b46e93096f5a254f.webp) @@ -38,21 +38,21 @@ Soma mwongozo huu kuweka ONNX Runtime GenAI kwa Windows GPU [bonyeza hapa](./OR ![pfdag](../../../../../../translated_images/sw/pfdag.264a77f7366458ff.webp) - Fungua **chat_phi3_ort.py** kubadilisha eneo la Phi-3.5-instruct ONNX Model yako + Fungua **chat_phi3_ort.py** kubadilisha eneo la Modeli ya Phi-3.5-instruct ONNX ![pfphi](../../../../../../translated_images/sw/pfphi.72da81d74244b45f.webp) 5. Endesha prompt flow yako kwa ajili ya upimaji -Fungua **flow.dag.yaml** bonyeza mhariri wa kuona +Fungua **flow.dag.yaml** na bonyeza mhariri wa kuona ![pfv](../../../../../../translated_images/sw/pfv.ba8a81f34b20f603.webp) -baada ya kubonyeza hii, endesha kujaribu +baada ya kubonyeza hii, endesha ili kujaribu ![pfflow](../../../../../../translated_images/sw/pfflow.4e1135a089b1ce1b.webp) -1. Unaweza kuendesha batch kwenye terminal kuangalia matokeo zaidi +1. Unaweza kuendesha seti katika terminal kuangalia matokeo zaidi ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Unaweza kuangalia matokeo katika kivinjari chako cha kawaida +Unaweza kukagua matokeo kwenye kivinjari chako cha chaguo ![pfresult](../../../../../../translated_images/sw/pfresult.c22c826f8062d7cb.webp) -**Kiarifu cha Kutotegemea**: -Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu inayofanywa na binadamu inashauriwa. Hatuna dhamana kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file +--- + + +**Kionyozo**: +Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI [Co-op Translator](https://github.com/Azure/co-op-translator). Ingawa tunajitahidi kupata usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati ya asili katika lugha yake halisi inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu inayofanywa na binadamu inapendekezwa. Hatutojibu kwa kuelewa vibaya au tafsiri potofu zinazotokea kutokana na matumizi ya tafsiri hii. + \ No newline at end of file diff --git a/translations/ta/.co-op-translator.json b/translations/ta/.co-op-translator.json index aaff9da65..9c8bff41a 100644 --- a/translations/ta/.co-op-translator.json +++ b/translations/ta/.co-op-translator.json @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-10-11T12:05:39+00:00", + "translation_date": "2026-07-29T17:50:32+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "ta" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-10-11T12:10:03+00:00", + "translation_date": "2026-07-29T17:50:05+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ta" }, diff --git a/translations/ta/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/ta/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 54cb78f44..267b2d016 100644 --- a/translations/ta/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/ta/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **OnnxRuntime GenAI Windows GPU க்கான வழிகாட்டுதல்** +# **OnnxRuntime GenAI Windows GPUக்கான வழிகாட்டி** -இந்த வழிகாட்டுதல் Windows-ல் GPUக்களுடன் ONNX Runtime (ORT) அமைக்க மற்றும் பயன்படுத்துவதற்கான படிகளை வழங்குகிறது. உங்கள் மாதிரிகளுக்கான செயல்திறன் மற்றும் திறனைக் கூட்ட GPU வேகத்தைப் பயன்படுத்த உதவ இது வடிவமைக்கப்பட்டுள்ளது. +இந்த வழிகாட்டி Windows இல் GPUகளுடன் ONNX Runtime (ORT) ஐ அமைப்பதற்கும் பயன்படுத்துவதற்குமான படிகளை வழங்குகிறது. உங்கள் மாதிரிகளுக்காக GPU விரைவு செயல்பாட்டை பயன்படுத்த உதவ இது உருவாக்கப்பட்டுள்ளது, செயல்திறன் மற்றும் திறமையை மேம்படுத்துகிறது. -இந்த ஆவணம் கீழ்க்காணும் வழிகாட்டுதல்களை வழங்குகிறது: +ஆவணம் கீழ்காணும் வழிகாட்டுதலை வழங்குகிறது: -- சூழல் அமைப்பு: CUDA, cuDNN மற்றும் ONNX Runtime போன்ற தேவையான சார்புகளை நிறுவுவதற்கான வழிமுறைகள். -- கட்டமைப்பு: GPU வளங்களை பயனுள்ளதாக பயன்படுத்த சூழல் மற்றும் ONNX Runtime ஐ எப்படி அமைப்பது. -- மேம்படுத்தல் குறிப்புகள்: உச்ச செயல்திறனைப் பெற உங்கள் GPU அமைப்புகளை நன்றாகச் சரிசெய்வதற்கான ஆலோசனைகள். +- சூழல் அமைப்பு: CUDA, cuDNN மற்றும் ONNX Runtime போன்ற தேவையான சாராம்சங்களை நிறுவுவதற்கான வழிமுறைகள். +- கட்டமைப்பு: GPU வளங்களை பயனுள்ள முறையில் பயன்படுத்த சுற்றுச்சூழல் மற்றும் ONNX Runtime ஐ அமைப்பது எப்படி. +- மேம்பாட்டு குறிப்புகள்: சிறந்த செயல்திறனை பெறும் வகையில் GPU அமைப்புகளை நன்றாக ஒழுங்குபடுத்தும் ஆலோசனைகள். ### **1. Python 3.10.x /3.11.8** - ***குறிப்பு*** Python சூழலுக்காக [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) பயன்படுத்த பரிந்துரைக்கப்படுகிறது. + ***குறிப்பு*** உங்கள் Python சூழல் மண்டலமாக [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) ஐ பயன்படுத்த பரிந்துரைக்கப்படுகிறது ```bash @@ -20,44 +20,48 @@ ``` - ***நினைவூட்டல்*** Python ONNX நூலகத்தை ஏதேனும் நிறுவியிருந்தால், தயவுசெய்து அதை அகற்றவும். + ***நினைவூட்டல்*** Python இல் ONNX உட்பட வேறு எந்த நூலகங்களை நிறுவியிருந்தாலும் அவற்றை தயவுசெய்து விலக்கவும் ### **2. winget மூலம் CMake ஐ நிறுவவும்** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Visual Studio 2022 - C++ உடன் Desktop Development ஐ நிறுவவும்** +### **3. Visual Studio 2022 - Desktop Development with C++ ஐ நிறுவவும்** + + ***குறிப்பு*** நீங்கள் தொகுக்க விரும்பவில்லை என்றால் இந்த படியை தவிர்க்கலாம் - ***குறிப்பு*** நீங்கள் தொகுக்க விரும்பவில்லை என்றால், இந்த படியை தவிர்க்கலாம். +![CPP](../../../../../../translated_images/ta/01.42f52a2b2aedff02.webp) -![CPP](../../../../../../imgs/02/pfonnx/01.png) ### **4. NVIDIA டிரைவர் நிறுவவும்** -1. **NVIDIA GPU டிரைவர்** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU டிரைவர்** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) -3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) +3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***நினைவூட்டல்*** நிறுவல் செயல்முறையில் இயல்புநிலை அமைப்புகளை பயன்படுத்தவும். +***நினைவூட்டல்*** நிறுவும் போது இயல்புநிலை அமைப்புகளைப் பயன்படுத்தவும் -### **5. NVIDIA சூழலை அமைக்கவும்** +### **5. NVIDIA சுற்றுச்சூழலை அமைக்கவும்** -NVIDIA CUDNN 9.4 lib, bin, include ஐ NVIDIA CUDA 12.4 lib, bin, include க்கு நகலெடுக்கவும். +NVIDIA CUDNN 9.4 இன் lib, bin, include கோப்புகளை NVIDIA CUDA 12.4 இன் lib, bin, includeக்கு நகலெடுக்கவும் -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* கோப்புகளை *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* க்கு நகலெடுக்கவும். +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* கோப்புகளை *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'*க்கு நகலெடுக்கவும் -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* கோப்புகளை *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* க்கு நகலெடுக்கவும். +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* கோப்புகளை *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'*க்கு நகலெடுக்கவும் + +- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* கோப்புகளை *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'*க்கு நகலெடுக்கவும் -- *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* கோப்புகளை *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* க்கு நகலெடுக்கவும். ### **6. Phi-3.5-mini-instruct-onnx ஐ பதிவிறக்கவும்** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ NVIDIA CUDNN 9.4 lib, bin, include ஐ NVIDIA CUDA 12.4 lib, bin, include க் ### **7. InferencePhi35Instruct.ipynb ஐ இயக்கவும்** - [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) ஐ திறந்து செயல்படுத்தவும். + [புத்தகக் குறிப்பு](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) திறந்து அதை இயக்கு + + +![RESULT](../../../../../../translated_images/ta/02.b9b06996cf7255d5.webp) -![RESULT](../../../../../../imgs/02/pfonnx/02.png) ### **8. ORT GenAI GPU ஐ தொகுக்கவும்** + ***குறிப்பு*** - 1. முதலில் onnx, onnxruntime மற்றும் onnxruntime-genai பற்றிய அனைத்தையும் அகற்றவும். + 1. முதலில் onnx மற்றும் onnxruntime மற்றும் onnxruntime-genai உட்பட அனைத்து தொடர்புடையவற்றை அகற்று + ```bash pip list ``` - பின்னர் அனைத்து onnxruntime நூலகங்களையும் அகற்றவும், உதாரணமாக: + பிறகு அனைத்து onnxruntime நூலகங்களையும் அகற்று + ```bash @@ -100,13 +109,17 @@ NVIDIA CUDNN 9.4 lib, bin, include ஐ NVIDIA CUDA 12.4 lib, bin, include க் ``` - 2. Visual Studio Extension ஆதரவைச் சரிபார்க்கவும். + 2. Visual Studio நீட்டிப்பை ஆதரிக்கிறதா என சரி பார்க்கவும் + + C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras இல் C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration இருப்பதை உறுதிப்படுத்தவும். + + கண்டுபிடிக்கவில்லை என்றால் மற்ற CUDA கருவித் தொகுப்பு டிரைவர்களின் கோப்புறைகளைச் சரிபார்த்து visual_studio_integration கோப்புறையை மற்றும் உள்ளடக்கங்களையும் C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration இக்கு நகலெடுக்கவும் - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras ஐச் சரிபார்த்து, C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration காணப்படுகிறதா என்பதை உறுதிப்படுத்தவும். - காணப்படவில்லை என்றால், பிற CUDA toolkit டிரைவர் கோப்பகங்களைச் சரிபார்த்து, visual_studio_integration கோப்பகத்தையும் உள்ளடக்கங்களையும் C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration க்கு நகலெடுக்கவும். - - நீங்கள் தொகுக்க விரும்பவில்லை என்றால், இந்த படியை தவிர்க்கலாம். + + - நீங்கள் தொகுக்க விரும்பவில்லை என்றால் இந்த படியை தவிர்க்கலாம் + ```bash @@ -114,16 +127,17 @@ NVIDIA CUDNN 9.4 lib, bin, include ஐ NVIDIA CUDA 12.4 lib, bin, include க் ``` - - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) ஐ பதிவிறக்கவும். + - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) ஐ பதிவிறக்கவும் - - onnxruntime-win-x64-gpu-1.19.2.zip ஐ unzip செய்து, **ort** என பெயரிடவும், ort கோப்பகத்தை onnxruntime-genai க்கு நகலெடுக்கவும். + - onnxruntime-win-x64-gpu-1.19.2.zip ஐ பிழிந்து **ort** என பெயரிடவும், ort கோப்புறையை onnxruntime-genaiக்குள் நகலெடுக்கவும் - - Windows Terminal ஐப் பயன்படுத்தி, Developer Command Prompt for VS 2022 க்கு சென்று onnxruntime-genai க்கு செல்லவும். + - Windows டெர்மினல் பயன்படுத்தி, VS 2022 - இன் Developer Command Prompt இல் சென்று onnxruntime-genaiக்கு செல்லவும் -![RESULT](../../../../../../imgs/02/pfonnx/03.png) +![RESULT](../../../../../../translated_images/ta/03.b83ce473d5ff9b9b.webp) - - உங்கள் Python சூழலுடன் அதை தொகுக்கவும். + - உங்கள் python சூழலை கொண்டு அதை தொகுக்கவும் + ```bash cd onnxruntime-genai @@ -139,5 +153,7 @@ NVIDIA CUDNN 9.4 lib, bin, include ஐ NVIDIA CUDA 12.4 lib, bin, include க் --- -**குறிப்பு**: -இந்த ஆவணம் [Co-op Translator](https://github.com/Azure/co-op-translator) என்ற AI மொழிபெயர்ப்பு சேவையைப் பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சிக்கின்றோம், ஆனால் தானியங்கி மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கக்கூடும் என்பதை தயவுசெய்து கவனத்தில் கொள்ளுங்கள். அதன் தாய்மொழியில் உள்ள மூல ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கங்களுக்கு நாங்கள் பொறுப்பல்ல. \ No newline at end of file + +**மறுப்பு**: +இந்த ஆவணம் AI மொழிபெயர்ப்பு சேவை [Co-op Translator](https://github.com/Azure/co-op-translator) பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சி செய்துள்ளோம், ஆனால் தானாக செய்யப்படும் மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கலாம் என்பதை கவனத்தில் கொள்ளவும். அசல் ஆவணம் அதன் தாய்மொழியில் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்நுட்பமான மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கத்திற்கும் நாங்கள் பொறுப்பில்வில்லை. + \ No newline at end of file diff --git a/translations/ta/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ta/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 6b01409f3..ef10596ae 100644 --- a/translations/ta/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ta/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,59 @@ -# Windows GPU-யை Prompt Flow தீர்வை Phi-3.5-Instruct ONNX உடன் உருவாக்க பயன்படுத்துதல் +# வெயிண்டோஸ் GPU பயன்படுத்தி Phi-3.5-Instruct ONNX உடன் Prompt flow தீர்வை உருவாக்குதல் -இந்த ஆவணம் Phi-3 மாடல்களை அடிப்படையாகக் கொண்ட AI பயன்பாடுகளை உருவாக்க ONNX (Open Neural Network Exchange) உடன் PromptFlow-ஐ எப்படி பயன்படுத்துவது என்பதற்கான உதாரணமாகும். +கீழே உள்ள ஆவணம் Phi-3 மாடல்களின் அடிப்படையில் AI பயன்பாடுகளை உருவாக்க ONNX (Open Neural Network Exchange) உடன் PromptFlow எப்படி பயன்படுத்துவது என்பதற்கான உதாரணம் ஆகும். -PromptFlow என்பது LLM (Large Language Model)-அடிப்படையிலான AI பயன்பாடுகளின் முழுமையான மேம்பாட்டு சுழற்சியை, யோசனை மற்றும் மாதிரியாக்கம் முதல் சோதனை மற்றும் மதிப்பீடு வரை எளிமைப்படுத்த வடிவமைக்கப்பட்ட மேம்பாட்டு கருவிகளின் தொகுப்பாகும். +PromptFlow என்பது LLM அடிப்படையிலான (பெரிய மொழி மாடல்) AI பயன்பாடுகளின் ஆரம்பமான யோசனை மற்றும் Prototype உருவாக்கத்திலிருந்து சோதனை மற்றும் மதிப்பீடு வரை கடைசி வரை முழு மேம்பாட்டு சுற்றத்தை எளிதாக்க தயாரிக்கப்பட்ட ஒரு முன்னேற்ற கருவித்தொகுப்பு ஆகும். -PromptFlow-ஐ ONNX உடன் ஒருங்கிணைப்பதன் மூலம், டெவலப்பர்கள் கீழ்க்கண்டவற்றை செய்ய முடியும்: +PromptFlow ஐ ONNX உடன் இணைத்து, டெவலப்பர்கள் பின்வரும் விஷயங்களை செய்ய முடியும்: -- **மாடல் செயல்திறனை மேம்படுத்துதல்**: ONNX-ஐ பயன்படுத்தி மாடல் முடிவீடு மற்றும் பிரயோகத்தை திறமையாகச் செய்யலாம். -- **மேம்பாட்டை எளிமைப்படுத்துதல்**: PromptFlow-ஐ பயன்படுத்தி வேலைப்போக்கை நிர்வகிக்கவும், மீண்டும் மீண்டும் செய்ய வேண்டிய பணிகளை தானியங்கமாக்கவும் முடியும். -- **கூட்டாண்மையை மேம்படுத்துதல்**: ஒரே மேம்பாட்டு சூழலை வழங்குவதன் மூலம் குழு உறுப்பினர்களிடையே சிறந்த கூட்டாண்மையை ஊக்குவிக்க முடியும். +- மாடல் செயல்திறனை மேம்படுத்துதல்: ONNX ஐ திறமையான மாடல் inference மற்றும் பங்கேற்றல் (deployment) க்கு பயன்படுத்துதல். +- மேம்பாட்டை எளிமைப்படுத்துதல்: workflow ஐ PromptFlow மூலம் நிர்வகித்து மறுபடியும் செய்யும் பணிகளை தானாகச் செய்யுதல். +- கூட்டுக் தொழில்நுட்பத்தை மேம்படுத்துதல்: ஒருங்கிணைந்த மேம்பாட்டு சூழலை வழங்கியமைக்கூடிய குழு உறுப்பினர்களுக்கு சிறந்த கூட்டு பணியை ஏற்படுத்துதல். -**Prompt flow** என்பது LLM அடிப்படையிலான AI பயன்பாடுகளின் முழுமையான மேம்பாட்டு சுழற்சியை, யோசனை, மாதிரியாக்கம், சோதனை, மதிப்பீடு முதல் உற்பத்தி பிரயோகம் மற்றும் கண்காணிப்பு வரை எளிமைப்படுத்த வடிவமைக்கப்பட்ட மேம்பாட்டு கருவிகளின் தொகுப்பாகும். இது prompt engineering-ஐ மிகவும் எளிதாக்கி, உற்பத்தி தரத்துடன் LLM பயன்பாடுகளை உருவாக்க உதவுகிறது. +**Prompt flow** என்பது LLM அடிப்படையிலான AI பயன்பாடுகளின் தொடக்கம், Prototype மீட்டமைத்தல், சோதனை, மதிப்பீடு முதல் உற்பத்தி பங்கேற்றல் மற்றும் கண்காணிப்பு வரை முழு மேம்பாட்டு சுற்றத்தை எளிதாக்க உருவாக்கப்பட்ட கருவித்தொகுப்பு ஆகும். இது prompt engineering ஐ மிகவும் எளிதாக்கி உற்பத்தி தரத்துடன் LLM செயலிகளைக் கட்டமைக்க உதவுகிறது. -Prompt flow OpenAI, Azure OpenAI Service மற்றும் தனிப்பயன் மாடல்களுடன் (Huggingface, local LLM/SLM) இணைக்க முடியும். Phi-3.5-ன் அளவிடப்பட்ட ONNX மாடலை உள்ளூர் பயன்பாடுகளில் பிரயோகிக்க நாங்கள் நம்புகிறோம். Prompt flow நமக்கு எங்கள் வணிகத்தை சிறப்பாக திட்டமிடவும், Phi-3.5 அடிப்படையிலான உள்ளூர் தீர்வுகளை முடிக்கவும் உதவுகிறது. இந்த உதாரணத்தில், Windows GPU அடிப்படையிலான Prompt flow தீர்வை முடிக்க ONNX Runtime GenAI Library-ஐ இணைப்போம். +Prompt flow OpenAI, Azure OpenAI Service மற்றும் தனிப்பயன் மாடல்கள் (Huggingface, உள்ளூர் LLM/SLM) க்கு இணைக்க முடியும். Phi-3.5 இன் குறைந்த அளவிலான ONNX மாடலை உள்ளூர் பயன்பாடுகளில் பயன்படுத்த திட்டமிட்டுள்ளோம். Prompt flow Phi-3.5 அடிப்படையிலான உள்ளூர் தீர்வுகளை சிறந்த முறையில் திட்டமிடுவதிலும் முழுமையாக்குவதிலும் உதவும். இந்த உதாரணத்தில், Windows GPU அடிப்படையில் Prompt flow தீர்வை முடிக்க ONNX Runtime GenAI நூலகத்தை இணைத்துக் கொள்வோம். ## **நிறுவல்** -### **Windows GPU-க்கு ONNX Runtime GenAI** +### **Windows GPU க்கான ONNX Runtime GenAI** -Windows GPU-க்கு ONNX Runtime GenAI அமைக்க இந்த வழிகாட்டுதலைப் படிக்கவும் [இங்கே கிளிக் செய்யவும்](./ORTWindowGPUGuideline.md) +Windows GPU க்கான ONNX Runtime GenAI ஐ அமைக்க இந்த வழிகாட்டியைப் படியுங்கள் [click here](./ORTWindowGPUGuideline.md) -### **VSCode-ல் Prompt flow அமைக்க** +### **VSCode இல் Prompt flow ஐ அமைத்தல்** -1. Prompt flow VS Code Extension-ஐ நிறுவவும் +1. Prompt flow VS Code நீட்டிப்பை நிறுவுக -![pfvscode](../../../../../../imgs/02/pfonnx/pfvscode.png) +![pfvscode](../../../../../../translated_images/ta/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code Extension-ஐ நிறுவிய பிறகு, அந்த extension-ஐ கிளிக் செய்து, **Installation dependencies**-ஐ தேர்வு செய்து, இந்த வழிகாட்டுதலின்படி Prompt flow SDK-ஐ உங்கள் சூழலில் நிறுவவும் +2. Prompt flow VS Code நீட்டிப்பை நிறுவிய பிறகு, நீட்டிப்பை கிளிக் செய்து **Installation dependencies** ஐ தேர்வு செய்து இந்த வழிகாட்டியை பின்பற்றி Prompt flow SDK ஐ உங்கள் சூழலை நிறுவுக -![pfsetup](../../../../../../imgs/02/pfonnx/pfsetup.png) +![pfsetup](../../../../../../translated_images/ta/pfsetup.b46e93096f5a254f.webp) -3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) பதிவிறக்கம் செய்து, VS Code-ஐ பயன்படுத்தி இந்த மாதிரியைத் திறக்கவும் +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ஐ பதிவிறக்கம் செய்து VS Code மூலம் இந்த மாதிரியை திற*க்கவும்* -![pfsample](../../../../../../imgs/02/pfonnx/pfsample.png) +![pfsample](../../../../../../translated_images/ta/pfsample.8d89e70584ffe7c4.webp) -4. **flow.dag.yaml**-ஐ திறந்து உங்கள் Python சூழலைத் தேர்வு செய்யவும் +4. **flow.dag.yaml** ஐ திறந்து உங்கள் Python சூழலை தேர்ந்தெடுக்கவும் -![pfdag](../../../../../../imgs/02/pfonnx/pfdag.png) +![pfdag](../../../../../../translated_images/ta/pfdag.264a77f7366458ff.webp) - **chat_phi3_ort.py**-ஐ திறந்து உங்கள் Phi-3.5-instruct ONNX மாடல் இருப்பிடத்தை மாற்றவும் + **chat_phi3_ort.py** ஐத் திறந்து உங்கள் Phi-3.5-instruct ONNX மாடல் இருப்பிடத்தை மாற்றவும் -![pfphi](../../../../../../imgs/02/pfonnx/pfphi.png) +![pfphi](../../../../../../translated_images/ta/pfphi.72da81d74244b45f.webp) -5. உங்கள் Prompt flow-ஐ சோதனை செய்ய இயக்கவும் +5. உங்கள் prompt flow ஐ சோதனை செய்ய இயக்கவும் -**flow.dag.yaml**-ஐ திறந்து visual editor-ஐ கிளிக் செய்யவும் +**flow.dag.yaml** ஐ திறந்து பான் காட்சி (visual editor) கிளிக் செய்யவும் -![pfv](../../../../../../imgs/02/pfonnx/pfv.png) +![pfv](../../../../../../translated_images/ta/pfv.ba8a81f34b20f603.webp) -இதனை கிளிக் செய்த பிறகு, அதை இயக்கி சோதிக்கவும் +இதனை கிளிக் செய்து இயக்கி சோதனை செய்யவும் -![pfflow](../../../../../../imgs/02/pfonnx/pfflow.png) +![pfflow](../../../../../../translated_images/ta/pfflow.4e1135a089b1ce1b.webp) + +1. நீங்கள் டெர்மினலில் தொகுதியாக இயக்கி பிற பல முடிவுகளை அறியலாம் -1. மேலும் முடிவுகளைச் சரிபார்க்க terminal-ல் batch-ஐ இயக்கலாம் ```bash @@ -60,11 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -முடிவுகளை உங்கள் இயல்புநிலை உலாவியில் பார்க்கலாம் +உங்கள் இயல்புநிலை உலாவியில் முடிவுகளைப் பார்வையிடலாம் + -![pfresult](../../../../../../imgs/02/pfonnx/pfresult.png) +![pfresult](../../../../../../translated_images/ta/pfresult.c22c826f8062d7cb.webp) --- -**குறிப்பு**: -இந்த ஆவணம் [Co-op Translator](https://github.com/Azure/co-op-translator) என்ற AI மொழிபெயர்ப்பு சேவையைப் பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சிக்கின்றோம், ஆனால் தானியங்கி மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறான தகவல்கள் இருக்கக்கூடும் என்பதை தயவுசெய்து கவனத்தில் கொள்ளவும். அதன் தாய்மொழியில் உள்ள மூல ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கங்களுக்கு நாங்கள் பொறுப்பல்ல. \ No newline at end of file + +**மறுப்பு**: +இந்த ஆவணம் AI மொழிபெயர்ப்பு சேவை [Co-op Translator](https://github.com/Azure/co-op-translator) பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சி செய்துள்ளோம், ஆனால் தானாக செய்யப்படும் மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கலாம் என்பதை கவனத்தில் கொள்ளவும். அசல் ஆவணம் அதன் தாய்மொழியில் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்நுட்பமான மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கத்திற்கும் நாங்கள் பொறுப்பில்வில்லை. + \ No newline at end of file diff --git a/translations/th/.co-op-translator.json b/translations/th/.co-op-translator.json index 580929fde..8d30951f9 100644 --- a/translations/th/.co-op-translator.json +++ b/translations/th/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:21:06+00:00", + "translation_date": "2026-07-29T18:29:22+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "th" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:43:44+00:00", + "translation_date": "2026-07-29T18:30:02+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "th" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:00:39+00:00", + "translation_date": "2026-07-29T18:29:41+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "th" }, diff --git a/translations/th/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/th/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 7d958a947..3175aec97 100644 --- a/translations/th/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/th/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **วิธีใช้ Model Builder ในการทำ Quantizing Phi-3.5** +# **การควอนไทซ์ Phi Family โดยใช้ส่วนขยาย Generative AI สำหรับ onnxruntime** -ตอนนี้ Model Builder รองรับการทำ Quantization ของโมเดล ONNX สำหรับ Phi-3.5 Instruct และ Phi-3.5-Vision +## **ส่วนขยาย Generative AI สำหรับ onnxruntime คืออะไร** + +ส่วนขยายนี่ช่วยให้คุณรัน Generative AI กับ ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) มันให้วงจร Generative AI สำหรับโมเดล ONNX รวมถึงการอนุมานด้วย ONNX Runtime, การประมวลผล logits, การค้นหาและการสุ่มตัวอย่าง, และการจัดการแคช KV นักพัฒนาสามารถเรียกใช้วิธี generate() ระดับสูง หรือรันแต่ละรอบของโมเดลในรูปแบบลูป สร้างโทเค็นทีละตัว และสามารถปรับพารามิเตอร์การสร้างภายในลูปได้ตามต้องการ รองรับการค้นหา greedy/beam และการสุ่มแบบ TopP, TopK เพื่อสร้างลำดับโทเค็น รวมถึงการประมวลผล logits ในตัวเช่นการลงโทษความซ้ำซ้อน คุณยังสามารถเพิ่มการให้คะแนนแบบกำหนดเองได้อย่างง่ายดาย + +ในระดับแอปพลิเคชัน คุณสามารถใช้ส่วนขยาย Generative AI สำหรับ onnxruntime เพื่อสร้างแอปพลิเคชันโดยใช้ C++/ C# / Python ในระดับโมเดล คุณสามารถใช้มันเพื่อผสานโมเดลที่ปรับแต่งแล้วและทำงานที่เกี่ยวข้องกับการปรับใช้เชิงปริมาณ + + +## **การควอนไทซ์ Phi-3.5 ด้วยส่วนขยาย Generative AI สำหรับ onnxruntime** + +### **โมเดลที่รองรับ** + +ส่วนขยาย Generative AI สำหรับ onnxruntime รองรับการแปลงควอนไทซ์ของ Microsoft Phi, Google Gemma, Mistral, Meta LLaMA + + +### **ตัวสร้างโมเดลในส่วนขยาย Generative AI สำหรับ onnxruntime** + +ตัวสร้างโมเดลช่วยเร่งการสร้างโมเดล ONNX ที่ปรับแต่งและควอนไทซ์ให้ทำงานกับ API generate() ของ ONNX Runtime ได้อย่างเร็วขึ้นมาก + +ผ่าน Model Builder คุณสามารถควอนไทซ์โมเดลเป็น INT4, INT8, FP16, FP32 และรวมวิธีเร่งฮาร์ดแวร์ที่แตกต่างกัน เช่น CPU, CUDA, DirectML, Mobile เป็นต้น + +เพื่อใช้ Model Builder คุณต้องติดตั้ง + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +หลังติดตั้ง คุณสามารถรันสคริปต์ Model Builder จากเทอร์มินัลเพื่อแปลงรูปแบบโมเดลและควอนไทซ์ได้ + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +ทำความเข้าใจกับพารามิเตอร์ที่เกี่ยวข้อง + +1. **model_name** หมายถึงโมเดลบน Hugging face เช่น microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct เป็นต้น หรืออาจเป็นเส้นทางที่คุณเก็บโมเดลไว้ + +2. **path_to_output_folder** เส้นทางบันทึกผลการแปลงควอนไทซ์ + +3. **execution_provider** การรองรับการเร่งฮาร์ดแวร์แตกต่างกัน เช่น cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** เราดาวน์โหลดโมเดลจาก Hugging face และแคชไว้ในเครื่องท้องถิ่น + + + + +***หมายเหตุ：*** + +## **วิธีใช้ Model Builder เพื่อควอนไทซ์ Phi-3.5** + +Model Builder รองรับการควอนไทซ์โมเดล ONNX สำหรับ Phi-3.5 Instruct และ Phi-3.5-Vision ### **Phi-3.5-Instruct** -**การแปลงแบบเร่งด้วย CPU สำหรับ Quantized INT4** + +**การแปลงแบบเร่งด้วย CPU สำหรับ INT4 ที่ควอนไทซ์แล้ว** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**การแปลงแบบเร่งด้วย CUDA สำหรับ Quantized INT4** +**การแปลงแบบเร่งด้วย CUDA สำหรับ INT4 ที่ควอนไทซ์แล้ว** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. ดาวน์โหลด microsoft/Phi-3.5-vision-instruct ไปยังโฟลเดอร์ models +2. ดาวน์โหลด microsoft/Phi-3.5-vision-instruct ไปที่โฟลเดอร์ models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. กรุณาดาวน์โหลดไฟล์เหล่านี้ไปยังโฟลเดอร์ Phi-3.5-vision-instruct ของคุณ +3. โปรดดาวน์โหลดไฟล์เหล่านี้ไปที่โฟลเดอร์ Phi-3.5-vision-instruct ของคุณ - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. ดาวน์โหลดไฟล์นี้ไปยังโฟลเดอร์ models + +4. ดาวน์โหลดไฟล์นี้ไปที่โฟลเดอร์ models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. ไปที่เทอร์มินัล - แปลงโมเดล ONNX ให้รองรับ FP32 + แปลง ONNX โดยรองรับ FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **หมายเหตุ：** -1. Model Builder รองรับการแปลง Phi-3.5-Instruct และ Phi-3.5-Vision ในขณะนี้ แต่ยังไม่รองรับ Phi-3.5-MoE +1. Model Builder ตอนนี้รองรับการแปลง Phi-3.5-Instruct และ Phi-3.5-Vision แต่ไม่รองรับ Phi-3.5-MoE -2. หากต้องการใช้โมเดล ONNX ที่ทำ Quantized แล้ว สามารถใช้งานผ่าน Generative AI extensions for onnxruntime SDK ได้ +2. เพื่อใช้โมเดลควอนไทซ์ของ ONNX คุณสามารถใช้ผ่าน Generative AI extensions สำหรับ onnxruntime SDK -3. เราควรคำนึงถึงความรับผิดชอบด้าน AI มากขึ้น ดังนั้นหลังจากการแปลงโมเดลควรทดสอบผลลัพธ์อย่างมีประสิทธิภาพ +3. เราต้องคำนึงถึง AI ที่มีความรับผิดชอบมากขึ้น ดังนั้นหลังการแปลงควอนไทซ์โมเดล แนะนำให้ทดสอบผลลัพธ์อย่างมีประสิทธิภาพเพิ่มเติม + +4. โดยการควอนไทซ์โมเดล CPU INT4 เราสามารถปรับใช้กับอุปกรณ์ Edge Device ซึ่งมีสถานการณ์ใช้งานที่ดีขึ้น ดังนั้นเราจึงได้ทำ Phi-3.5-Instruct รอบ INT4 เสร็จแล้ว -4. การทำ Quantizing โมเดล CPU INT4 ช่วยให้เราสามารถนำไปใช้งานบน Edge Device ได้ดีขึ้น ซึ่งเหมาะกับสถานการณ์การใช้งานจริง ดังนั้นเราจึงได้ทำ Phi-3.5-Instruct ในรูปแบบ INT4 เสร็จสมบูรณ์แล้ว ## **แหล่งข้อมูล** -1. เรียนรู้เพิ่มเติมเกี่ยวกับ Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. เรียนรู้เพิ่มเติมเกี่ยวกับ Generative AI extensions สำหรับ onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. แหล่งที่เก็บ Generative AI extensions สำหรับ onnxruntime บน GitHub [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. GitHub Repo ของ Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**ข้อจำกัดความรับผิดชอบ**: -เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษาอัตโนมัติ [Co-op Translator](https://github.com/Azure/co-op-translator) แม้เราจะพยายามให้ความถูกต้องสูงสุด แต่โปรดทราบว่าการแปลอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางถือเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ ขอแนะนำให้ใช้บริการแปลโดยผู้เชี่ยวชาญมนุษย์ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความผิดใด ๆ ที่เกิดจากการใช้การแปลนี้ \ No newline at end of file + +**ปฏิเสธความรับผิดชอบ**: +เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษา AI [Co-op Translator](https://github.com/Azure/co-op-translator) ขณะที่เราพยายามให้ความถูกต้อง โปรดทราบว่าการแปลโดยอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางควรถูกพิจารณาเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ แนะนำให้ใช้การแปลโดยมนุษย์มืออาชีพ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความที่ผิดพลาดที่เกิดขึ้นจากการใช้การแปลนี้ + \ No newline at end of file diff --git a/translations/th/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/th/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index d20f11497..27935e3e4 100644 --- a/translations/th/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/th/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **แนวทางสำหรับ OnnxRuntime GenAI Windows GPU** -แนวทางนี้แนะนำขั้นตอนการตั้งค่าและใช้งาน ONNX Runtime (ORT) กับ GPU บน Windows เพื่อช่วยให้คุณใช้ประโยชน์จากการเร่งความเร็วด้วย GPU สำหรับโมเดลของคุณ เพิ่มประสิทธิภาพและความรวดเร็วในการทำงาน +แนวทางนี้ให้ขั้นตอนสำหรับการตั้งค่าและการใช้ ONNX Runtime (ORT) กับ GPU บน Windows ซึ่งออกแบบมาเพื่อช่วยให้คุณใช้ประโยชน์จากการเร่งความเร็ว GPU สำหรับโมเดลของคุณ เพิ่มประสิทธิภาพและความเร็ว เอกสารนี้ให้คำแนะนำเกี่ยวกับ: -- การตั้งค่าสภาพแวดล้อม: คำแนะนำการติดตั้ง dependencies ที่จำเป็น เช่น CUDA, cuDNN และ ONNX Runtime -- การกำหนดค่า: วิธีการตั้งค่าสภาพแวดล้อมและ ONNX Runtime ให้ใช้ทรัพยากร GPU อย่างมีประสิทธิภาพ -- เคล็ดลับการปรับแต่ง: คำแนะนำในการปรับแต่งการตั้งค่า GPU เพื่อประสิทธิภาพสูงสุด +- การตั้งค่าสภาพแวดล้อม: คำแนะนำเกี่ยวกับการติดตั้ง dependencies ที่จำเป็น เช่น CUDA, cuDNN และ ONNX Runtime +- การกำหนดค่า: วิธีการกำหนดค่าสภาพแวดล้อมและ ONNX Runtime เพื่อใช้ทรัพยากร GPU อย่างมีประสิทธิภาพ +- เคล็ดลับการปรับแต่ง: คำแนะนำในการปรับแต่งการตั้งค่า GPU ของคุณเพื่อประสิทธิภาพสูงสุด ### **1. Python 3.10.x /3.11.8** - ***Note*** แนะนำให้ใช้ [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) เป็นสภาพแวดล้อม Python ของคุณ +***หมายเหตุ*** แนะนำให้ใช้ [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) เป็นสภาพแวดล้อม Python ของคุณ ```bash @@ -20,10 +20,11 @@ ``` - ***Reminder*** หากคุณติดตั้งไลบรารี ONNX สำหรับ Python ไว้แล้ว กรุณาถอดถอนออกก่อน +***เตือนความจำ*** หากคุณติดตั้งไลบรารี python ONNX ใดๆ โปรดถอนการติดตั้งก่อน ### **2. ติดตั้ง CMake ด้วย winget** + ```bash winget install -e --id Kitware.CMake @@ -32,19 +33,20 @@ ### **3. ติดตั้ง Visual Studio 2022 - Desktop Development with C++** - ***Note*** หากคุณไม่ต้องการคอมไพล์ สามารถข้ามขั้นตอนนี้ได้ +***หมายเหตุ*** หากคุณไม่ต้องการคอมไพล์ สามารถข้ามขั้นตอนนี้ได้ ![CPP](../../../../../../translated_images/th/01.42f52a2b2aedff02.webp) -### **4. ติดตั้ง NVIDIA Driver** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. ติดตั้งไดรเวอร์ NVIDIA** + +1. **ไดรเวอร์ GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** กรุณาใช้การตั้งค่าเริ่มต้นตามขั้นตอนการติดตั้ง +***เตือนความจำ*** กรุณาใช้การตั้งค่าเริ่มต้นในขั้นตอนการติดตั้ง ### **5. ตั้งค่าสภาพแวดล้อม NVIDIA** @@ -56,8 +58,10 @@ - คัดลอกไฟล์จาก *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* ไปยัง *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* + ### **6. ดาวน์โหลด Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ ### **7. รัน InferencePhi35Instruct.ipynb** - เปิด [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) และรันคำสั่ง +เปิด [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) และดำเนินการ + ![RESULT](../../../../../../translated_images/th/02.b9b06996cf7255d5.webp) + ### **8. คอมไพล์ ORT GenAI GPU** - ***Note*** + +***หมายเหตุ*** - 1. กรุณาถอดถอน onnx, onnxruntime และ onnxruntime-genai ทั้งหมดก่อน +1. โปรดถอนการติดตั้ง onnx, onnxruntime และ onnxruntime-genai ทั้งหมดก่อน + ```bash pip list ``` - จากนั้นถอดถอนไลบรารี onnxruntime ทั้งหมด เช่น +จากนั้นถอนการติดตั้งไลบรารี onnxruntime ทั้งหมด เช่น + ```bash @@ -100,13 +109,17 @@ ``` - 2. ตรวจสอบการสนับสนุน Visual Studio Extension +2. ตรวจสอบการสนับสนุน Visual Studio Extension - ตรวจสอบที่ C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras ว่ามีโฟลเดอร์ C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration หรือไม่ +ตรวจสอบใน C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras เพื่อให้แน่ใจว่าเจอ โฟลเดอร์ C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration - หากไม่พบ ให้ตรวจสอบโฟลเดอร์ไดรเวอร์ Cuda toolkit อื่น ๆ และคัดลอกโฟลเดอร์ visual_studio_integration พร้อมเนื้อหาไปยัง C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration +หากไม่พบ ให้ตรวจสอบโฟลเดอร์ไดรเวอร์ Cuda toolkit อื่น ๆ และคัดลอกโฟลเดอร์ visual_studio_integration พร้อมเนื้อหาไปยัง C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + +- หากคุณไม่ต้องการคอมไพล์ สามารถข้ามขั้นตอนนี้ได้ - - หากคุณไม่ต้องการคอมไพล์ สามารถข้ามขั้นตอนนี้ได้ ```bash @@ -114,16 +127,17 @@ ``` - - ดาวน์โหลด [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) +- ดาวน์โหลด [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - แตกไฟล์ onnxruntime-win-x64-gpu-1.19.2.zip และเปลี่ยนชื่อเป็น **ort** จากนั้นคัดลอกโฟลเดอร์ ort ไปยัง onnxruntime-genai +- แตกไฟล์ onnxruntime-win-x64-gpu-1.19.2.zip และเปลี่ยนชื่อเป็น **ort** จากนั้นคัดลอกโฟลเดอร์ ort ไปที่ onnxruntime-genai - - ใช้ Windows Terminal เปิด Developer Command Prompt for VS 2022 และไปที่โฟลเดอร์ onnxruntime-genai +- ใช้ Windows Terminal ไปที่ Developer Command Prompt for VS 2022 และไปยัง onnxruntime-genai ![RESULT](../../../../../../translated_images/th/03.b83ce473d5ff9b9b.webp) - - คอมไพล์ด้วยสภาพแวดล้อม Python ของคุณ +- คอมไพล์ด้วยสภาพแวดล้อม python ของคุณ + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**ข้อจำกัดความรับผิดชอบ**: -เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษาอัตโนมัติ [Co-op Translator](https://github.com/Azure/co-op-translator) แม้เราจะพยายามให้ความถูกต้องสูงสุด แต่โปรดทราบว่าการแปลอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางถือเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ ขอแนะนำให้ใช้บริการแปลโดยผู้เชี่ยวชาญมนุษย์ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความผิดใด ๆ ที่เกิดจากการใช้การแปลนี้ \ No newline at end of file +--- + + +**ปฏิเสธความรับผิดชอบ**: +เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษา AI [Co-op Translator](https://github.com/Azure/co-op-translator) ขณะที่เราพยายามให้ความถูกต้อง โปรดทราบว่าการแปลโดยอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางควรถูกพิจารณาเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ แนะนำให้ใช้การแปลโดยมนุษย์มืออาชีพ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความที่ผิดพลาดที่เกิดขึ้นจากการใช้การแปลนี้ + \ No newline at end of file diff --git a/translations/th/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/th/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index cccbc2ea6..9222a77f4 100644 --- a/translations/th/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/th/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,32 +1,32 @@ -# การใช้ Windows GPU เพื่อสร้างโซลูชัน Prompt flow กับ Phi-3.5-Instruct ONNX +# การใช้ Windows GPU เพื่อสร้างโซลูชัน Prompt flow กับ Phi-3.5-Instruct ONNX -เอกสารนี้เป็นตัวอย่างการใช้งาน PromptFlow ร่วมกับ ONNX (Open Neural Network Exchange) สำหรับพัฒนาแอปพลิเคชัน AI ที่ใช้โมเดล Phi-3 +เอกสารนี้เป็นตัวอย่างของวิธีการใช้ PromptFlow กับ ONNX (Open Neural Network Exchange) สำหรับการพัฒนาแอปพลิเคชัน AI ที่ใช้โมเดล Phi-3 -PromptFlow คือชุดเครื่องมือสำหรับการพัฒนาที่ออกแบบมาเพื่อช่วยให้กระบวนการพัฒนาแอปพลิเคชัน AI ที่ใช้ LLM (Large Language Model) ตั้งแต่การคิดไอเดีย การสร้างต้นแบบ ไปจนถึงการทดสอบและประเมินผล เป็นไปอย่างราบรื่น +PromptFlow คือชุดเครื่องมือสำหรับการพัฒนาที่ออกแบบมาเพื่อช่วยให้กระบวนการพัฒนาครบวงจรของแอปพลิเคชัน AI ที่ใช้โมเดลภาษาขนาดใหญ่ (LLM) เป็นไปอย่างราบรื่น ตั้งแต่ไอเดีย การสร้างต้นแบบ ไปจนถึงการทดสอบและประเมินผล -โดยการผสาน PromptFlow กับ ONNX นักพัฒนาสามารถ: +โดยการรวม PromptFlow กับ ONNX นักพัฒนาสามารถ: -- ปรับประสิทธิภาพของโมเดล: ใช้ ONNX เพื่อการประมวลผลและการนำโมเดลไปใช้งานที่มีประสิทธิภาพ -- ทำให้การพัฒนาง่ายขึ้น: ใช้ PromptFlow ในการจัดการเวิร์กโฟลว์และอัตโนมัติงานที่ทำซ้ำๆ -- ส่งเสริมการทำงานร่วมกัน: ช่วยให้ทีมทำงานร่วมกันได้ดีขึ้นด้วยสภาพแวดล้อมการพัฒนาที่เป็นหนึ่งเดียว +- ปรับประสิทธิภาพของโมเดล: ใช้ประโยชน์จาก ONNX เพื่อการสรุปผลและการนำโมเดลไปใช้ที่มีประสิทธิภาพ +- ทำให้การพัฒนาง่ายขึ้น: ใช้ PromptFlow เพื่อจัดการเวิร์กโฟลว์และทำงานที่ซ้ำซ้อนได้โดยอัตโนมัติ +- ส่งเสริมการทำงานร่วมกัน: อำนวยความสะดวกให้การทำงานร่วมกันของสมาชิกในทีมดีขึ้นด้วยสภาพแวดล้อมการพัฒนาที่เป็นหนึ่งเดียว -**Prompt flow** คือชุดเครื่องมือสำหรับการพัฒนาที่ช่วยให้กระบวนการพัฒนาแอปพลิเคชัน AI ที่ใช้ LLM ตั้งแต่การคิดไอเดีย การสร้างต้นแบบ การทดสอบ การประเมินผล ไปจนถึงการนำไปใช้งานจริงและการติดตามผล เป็นไปอย่างง่ายดาย ช่วยให้การออกแบบ prompt มีประสิทธิภาพมากขึ้น และช่วยให้คุณสร้างแอป LLM ที่มีคุณภาพสำหรับการใช้งานจริงได้ +**Prompt flow** คือชุดเครื่องมือสำหรับพัฒนาออกแบบมาเพื่อช่วยให้กระบวนการพัฒนาครบวงจรของแอปพลิเคชัน AI ที่ใช้โมเดลภาษาขนาดใหญ่เป็นไปอย่างราบรื่น ตั้งแต่ไอเดีย การสร้างต้นแบบ การทดสอบ การประเมินผล จนถึงการนำไปใช้งานจริงและการตรวจสอบ มันช่วยให้การปรับแต่ง prompt ง่ายขึ้นมากและช่วยให้คุณสร้างแอป LLM ที่มีคุณภาพสำหรับใช้งานจริงได้ -Prompt flow สามารถเชื่อมต่อกับ OpenAI, Azure OpenAI Service และโมเดลที่ปรับแต่งได้ (Huggingface, LLM/SLM ในเครื่อง) เราหวังว่าจะนำโมเดล ONNX ที่ถูกควอนไทซ์ของ Phi-3.5 ไปใช้งานในแอปพลิเคชันภายในเครื่อง Prompt flow จะช่วยให้เราวางแผนธุรกิจได้ดีขึ้นและสร้างโซลูชันภายในเครื่องที่ใช้ Phi-3.5 ได้ ในตัวอย่างนี้ เราจะรวม ONNX Runtime GenAI Library เพื่อสร้างโซลูชัน Prompt flow บน Windows GPU +Prompt flow สามารถเชื่อมต่อกับ OpenAI, Azure OpenAI Service และโมเดลที่ปรับแต่งได้ (Huggingface, LLM/SLM ภายในเครื่อง) เราหวังที่จะนำโมเดล ONNX แบบ quantized ของ Phi-3.5 ไปใช้ในแอปพลิเคชันภายในเครื่อง Prompt flow สามารถช่วยเราวางแผนธุรกิจได้ดีขึ้นและสร้างโซลูชันภายในเครื่องบนพื้นฐานของ Phi-3.5 ในตัวอย่างนี้ เราจะผสาน ONNX Runtime GenAI Library เพื่อสร้างโซลูชัน Prompt flow บน Windows GPU ## **การติดตั้ง** ### **ONNX Runtime GenAI สำหรับ Windows GPU** -อ่านคำแนะนำการตั้งค่า ONNX Runtime GenAI สำหรับ Windows GPU [คลิกที่นี่](./ORTWindowGPUGuideline.md) +อ่านแนวทางนี้เพื่อการตั้งค่า ONNX Runtime GenAI สำหรับ Windows GPU [คลิกที่นี่](./ORTWindowGPUGuideline.md) ### **ตั้งค่า Prompt flow ใน VSCode** -1. ติดตั้ง Prompt flow VS Code Extension +1. ติดตั้งส่วนขยาย Prompt flow ใน VS Code ![pfvscode](../../../../../../translated_images/th/pfvscode.eff93dfc66a42cbe.webp) -2. หลังจากติดตั้ง Prompt flow VS Code Extension แล้ว คลิกที่ส่วนขยาย และเลือก **Installation dependencies** ทำตามคำแนะนำนี้เพื่อติดตั้ง Prompt flow SDK ในสภาพแวดล้อมของคุณ +2. หลังจากติดตั้งส่วนขยาย Prompt flow ใน VS Code ให้คลิกส่วนขยาย และเลือก **Installation dependencies** ตามแนวทางนี้เพื่อติดตั้ง Prompt flow SDK ในสภาพแวดล้อมของคุณ ![pfsetup](../../../../../../translated_images/th/pfsetup.b46e93096f5a254f.webp) @@ -34,17 +34,17 @@ Prompt flow สามารถเชื่อมต่อกับ OpenAI, Azure ![pfsample](../../../../../../translated_images/th/pfsample.8d89e70584ffe7c4.webp) -4. เปิดไฟล์ **flow.dag.yaml** เพื่อเลือกสภาพแวดล้อม Python ของคุณ +4. เปิด **flow.dag.yaml** เพื่อเลือกสภาพแวดล้อม Python ของคุณ ![pfdag](../../../../../../translated_images/th/pfdag.264a77f7366458ff.webp) - เปิดไฟล์ **chat_phi3_ort.py** เพื่อเปลี่ยนตำแหน่งโมเดล Phi-3.5-instruct ONNX ของคุณ + เปิด **chat_phi3_ort.py** เพื่อเปลี่ยนตำแหน่งโมเดล Phi-3.5-instruct ONNX ของคุณ ![pfphi](../../../../../../translated_images/th/pfphi.72da81d74244b45f.webp) -5. รัน prompt flow ของคุณเพื่อทดสอบ +5. รัน prompt flow เพื่อทดสอบ -เปิดไฟล์ **flow.dag.yaml** แล้วคลิก visual editor +เปิด **flow.dag.yaml** คลิก visual editor ![pfv](../../../../../../translated_images/th/pfv.ba8a81f34b20f603.webp) @@ -52,7 +52,7 @@ Prompt flow สามารถเชื่อมต่อกับ OpenAI, Azure ![pfflow](../../../../../../translated_images/th/pfflow.4e1135a089b1ce1b.webp) -1. คุณสามารถรันแบบ batch ในเทอร์มินัลเพื่อตรวจสอบผลลัพธ์เพิ่มเติม +1. คุณสามารถรัน batch ใน terminal เพื่อตรวจสอบผลลัพธ์เพิ่มเติม ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -คุณสามารถตรวจสอบผลลัพธ์ในเบราว์เซอร์เริ่มต้นของคุณ +คุณสามารถตรวจสอบผลลัพธ์ได้ในเว็บเบราว์เซอร์ที่ตั้งค่าไว้เป็นค่าเริ่มต้น ![pfresult](../../../../../../translated_images/th/pfresult.c22c826f8062d7cb.webp) -**ข้อจำกัดความรับผิดชอบ**: -เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษาอัตโนมัติ [Co-op Translator](https://github.com/Azure/co-op-translator) แม้เราจะพยายามให้ความถูกต้องสูงสุด แต่โปรดทราบว่าการแปลอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางถือเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ ขอแนะนำให้ใช้บริการแปลโดยผู้เชี่ยวชาญมนุษย์ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความผิดที่เกิดขึ้นจากการใช้การแปลนี้ \ No newline at end of file +--- + + +**ปฏิเสธความรับผิดชอบ**: +เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษา AI [Co-op Translator](https://github.com/Azure/co-op-translator) ขณะที่เราพยายามให้ความถูกต้อง โปรดทราบว่าการแปลโดยอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางควรถูกพิจารณาเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ แนะนำให้ใช้การแปลโดยมนุษย์มืออาชีพ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความที่ผิดพลาดที่เกิดขึ้นจากการใช้การแปลนี้ + \ No newline at end of file diff --git a/translations/tl/.co-op-translator.json b/translations/tl/.co-op-translator.json index 965edbc97..974f1296f 100644 --- a/translations/tl/.co-op-translator.json +++ b/translations/tl/.co-op-translator.json @@ -23,6 +23,19 @@ "source_file": "SECURITY.md", "language_code": "tl" }, + "__translation_failures__": { + "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { + "original_hash": "3bb9f5c926673593287eddc3741226cb", + "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", + "language_code": "tl", + "failure_date": "2026-07-29T17:09:09+00:00", + "status": "failed", + "error_type": "TranslationIncompleteError", + "error_message": "Markdown translation remained incomplete for chunk 1 of 'UsingORTGenAIQuantifyingPhi.md', and the chunk could not be split further.", + "translator_version": "0.20.0", + "failure_policy_version": 1 + } + }, "code/03.Finetuning/olive-lab/readme.md": { "original_hash": "6bbe47de3b974df7eea29dfeccf6032b", "translation_date": "2025-07-16T15:56:26+00:00", @@ -361,7 +374,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:45:56+00:00", + "translation_date": "2026-07-29T17:09:50+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "tl" }, @@ -373,7 +386,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:02:35+00:00", + "translation_date": "2026-07-29T17:09:25+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "tl" }, diff --git a/translations/tl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/tl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index c0ac66744..c0524facf 100644 --- a/translations/tl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/tl/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Patnubay para sa OnnxRuntime GenAI Windows GPU** -Ang patnubay na ito ay naglalaman ng mga hakbang para sa pag-setup at paggamit ng ONNX Runtime (ORT) gamit ang mga GPU sa Windows. Layunin nitong tulungan kang magamit ang GPU acceleration para sa iyong mga modelo, upang mapabuti ang performance at kahusayan. +Ang patnubay na ito ay nagbibigay ng mga hakbang para sa pagsasaayos at paggamit ng ONNX Runtime (ORT) kasama ang mga GPU sa Windows. Ito ay idinisenyo upang tulungan kang gamitin ang pag-accelerate ng GPU para sa iyong mga modelo, na nagpapabuti ng pagganap at kahusayan. -Ang dokumentong ito ay nagbibigay ng gabay sa: +Nagbibigay ang dokumento ng mga gabay sa: - Pagsasaayos ng Kapaligiran: Mga tagubilin sa pag-install ng mga kinakailangang dependencies tulad ng CUDA, cuDNN, at ONNX Runtime. - Konfigurasyon: Paano i-configure ang kapaligiran at ONNX Runtime upang epektibong magamit ang mga GPU resources. -- Mga Tip sa Pag-optimize: Mga payo kung paano i-fine-tune ang iyong mga GPU settings para sa pinakamainam na performance. +- Mga Tip sa Optimisasyon: Mga payo kung paano i-fine-tune ang iyong mga setting ng GPU para sa pinakamainam na pagganap. ### **1. Python 3.10.x /3.11.8** - ***Note*** Inirerekomenda ang paggamit ng [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) bilang iyong Python environment + ***Tandaan*** Iminumungkahi ang paggamit ng [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) bilang iyong Python env ```bash @@ -20,9 +20,10 @@ Ang dokumentong ito ay nagbibigay ng gabay sa: ``` - ***Reminder*** Kung may naka-install kang anumang python ONNX library, pakibura muna ito + ***Paalala*** Kung mayroon kang naka-install na alinman sa python ONNX library, pakialisin ito + +### **2. Mag-install ng CMake gamit ang winget** -### **2. I-install ang CMake gamit ang winget** ```bash @@ -30,13 +31,14 @@ Ang dokumentong ito ay nagbibigay ng gabay sa: ``` -### **3. I-install ang Visual Studio 2022 - Desktop Development with C++** +### **3. Mag-install ng Visual Studio 2022 - Desktop Development with C++** - ***Note*** Kung ayaw mong mag-compile, maaari mong laktawan ang hakbang na ito + ***Tandaan*** Kung ayaw mong mag-compile ay maaari mong laktawan ang hakbang na ito ![CPP](../../../../../../translated_images/tl/01.42f52a2b2aedff02.webp) -### **4. I-install ang NVIDIA Driver** + +### **4. Mag-install ng NVIDIA Driver** 1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ Ang dokumentong ito ay nagbibigay ng gabay sa: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Gamitin ang default na mga setting sa proseso ng pag-install +***Paalala*** Pakigamit ang mga default na setting sa proseso ng pag-install -### **5. I-set ang NVIDIA Env** +### **5. Itakda ang NVIDIA Env** -Kopyahin ang NVIDIA CUDNN 9.4 lib, bin, include papunta sa NVIDIA CUDA 12.4 lib, bin, include +Kopyahin ang NVIDIA CUDNN 9.4 lib,bin,include sa NVIDIA CUDA 12.4 lib,bin,include -- kopyahin ang mga file mula sa *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* papunta sa *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- kopyahin ang mga *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* file papunta sa *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- kopyahin ang mga file mula sa *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* papunta sa *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- kopyahin ang mga *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* file papunta sa *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- kopyahin ang mga *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* file papunta sa *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- kopyahin ang mga file mula sa *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* papunta sa *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. I-download ang Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Kopyahin ang NVIDIA CUDNN 9.4 lib, bin, include papunta sa NVIDIA CUDA 12.4 lib, ### **7. Patakbuhin ang InferencePhi35Instruct.ipynb** - Buksan ang [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) at i-execute + Buksan ang [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) at isagawa + ![RESULT](../../../../../../translated_images/tl/02.b9b06996cf7255d5.webp) + ### **8. I-compile ang ORT GenAI GPU** - ***Note*** + + ***Tandaan*** - 1. Pakibura muna lahat ng onnx, onnxruntime, at onnxruntime-genai na naka-install + 1. Pakibura muna lahat ng naka-install tungkol sa onnx at onnxruntime at onnxruntime-genai + ```bash pip list ``` - Pagkatapos ay burahin lahat ng onnxruntime libraries tulad ng + Pagkatapos ay burahin ang lahat ng onnxruntime libraries i.e. + ```bash @@ -100,13 +109,17 @@ Kopyahin ang NVIDIA CUDNN 9.4 lib, bin, include papunta sa NVIDIA CUDA 12.4 lib, ``` - 2. Suriin ang suporta ng Visual Studio Extension + 2. Suriin ang suporta ng Visual Studio Extension - Tingnan ang C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras upang matiyak na nandiyan ang C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Suriin ang C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras upang matiyak na nandoon ang C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Kung wala, tingnan ang ibang mga folder ng Cuda toolkit driver at kopyahin ang folder na visual_studio_integration kasama ang mga laman nito papunta sa C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Kung wala, suriin ang ibang folder ng Cuda toolkit driver at kopyahin ang visual_studio_integration folder kasama ang mga nilalaman nito sa C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - Kung ayaw mong mag-compile ay maaari mong laktawan ang hakbang na ito - - Kung ayaw mong mag-compile, maaari mong laktawan ang hakbang na ito ```bash @@ -114,16 +127,17 @@ Kopyahin ang NVIDIA CUDNN 9.4 lib, bin, include papunta sa NVIDIA CUDA 12.4 lib, ``` - - I-download ang [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) + - I-download mula sa [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - I-unzip ang onnxruntime-win-x64-gpu-1.19.2.zip, palitan ang pangalan nito sa **ort**, at kopyahin ang folder na ort papunta sa onnxruntime-genai + - I-unzip ang onnxruntime-win-x64-gpu-1.19.2.zip, at palitan ang pangalan nito sa **ort**, kopyahin ang ort folder sa onnxruntime-genai - - Gamit ang Windows Terminal, pumunta sa Developer Command Prompt para sa VS 2022 at pumunta sa onnxruntime-genai + - Gamit ang Windows Terminal, pumunta sa Developer Command Prompt for VS 2022 at pumunta sa onnxruntime-genai ![RESULT](../../../../../../translated_images/tl/03.b83ce473d5ff9b9b.webp) - - I-compile ito gamit ang iyong python environment + - I-compile ito gamit ang iyong python env + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Kopyahin ang NVIDIA CUDNN 9.4 lib, bin, include papunta sa NVIDIA CUDA 12.4 lib, ``` -**Paalala**: -Ang dokumentong ito ay isinalin gamit ang AI translation service na [Co-op Translator](https://github.com/Azure/co-op-translator). Bagamat nagsusumikap kami para sa katumpakan, pakatandaan na ang mga awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o di-tumpak na impormasyon. Ang orihinal na dokumento sa orihinal nitong wika ang dapat ituring na pangunahing sanggunian. Para sa mahahalagang impormasyon, inirerekomenda ang propesyonal na pagsasalin ng tao. Hindi kami mananagot sa anumang hindi pagkakaunawaan o maling interpretasyon na maaaring magmula sa paggamit ng pagsasaling ito. \ No newline at end of file +--- + + +**Pagtatanggi**: +Ang dokumentong ito ay isinalin gamit ang serbisyo ng AI translation na [Co-op Translator](https://github.com/Azure/co-op-translator). Bagama't nagsusumikap kami para sa katumpakan, pakatandaan na ang awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o hindi pagkakatugma. Ang orihinal na dokumento sa orihinal nitong wika ang dapat ituring na pangunahing sanggunian. Para sa mahahalagang impormasyon, inirerekomenda ang propesyonal na pagsasalin ng tao. Hindi kami mananagot sa anumang maling pagkakaintindi o maling interpretasyon na nagmula sa paggamit ng pagsasaling ito. + \ No newline at end of file diff --git a/translations/tl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/tl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 378bb4238..d75794d61 100644 --- a/translations/tl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/tl/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,32 +1,32 @@ -# Paggamit ng Windows GPU para gumawa ng Prompt flow solution gamit ang Phi-3.5-Instruct ONNX +# Paggamit ng Windows GPU para gumawa ng Prompt flow solution gamit ang Phi-3.5-Instruct ONNX -Ang dokumentong ito ay isang halimbawa kung paano gamitin ang PromptFlow kasama ang ONNX (Open Neural Network Exchange) para sa pag-develop ng mga AI application base sa Phi-3 models. +Ang sumusunod na dokumento ay isang halimbawa kung paano gamitin ang PromptFlow kasama ang ONNX (Open Neural Network Exchange) para sa pagbuo ng AI applications na batay sa Phi-3 models. -Ang PromptFlow ay isang hanay ng mga development tools na idinisenyo upang gawing mas madali ang buong proseso ng pag-develop ng mga LLM-based (Large Language Model) AI application, mula sa pagbuo ng ideya at prototyping hanggang sa testing at evaluation. +Ang PromptFlow ay isang suite ng mga development tools na dinisenyo upang pagaanin ang end-to-end development cycle ng LLM-based (Large Language Model) AI applications, mula sa ideasyon at prototyping hanggang sa testing at evaluation. -Sa pamamagitan ng pagsasama ng PromptFlow at ONNX, maaaring: +Sa pamamagitan ng pagsasama ng PromptFlow sa ONNX, makakagawa ang mga developer ng: -- I-optimize ang Performance ng Modelo: Gamitin ang ONNX para sa mas mabilis at epektibong model inference at deployment. -- Pagsimplihin ang Development: Gamitin ang PromptFlow para pamahalaan ang workflow at i-automate ang mga paulit-ulit na gawain. -- Pahusayin ang Kolaborasyon: Mas mapadali ang pagtutulungan ng mga miyembro ng team sa pamamagitan ng isang pinag-isang development environment. +- Pag-optimize ng Performance ng Modelo: Gamitin ang ONNX para sa epektibong model inference at deployment. +- Pagpapasimple ng Development: Gamitin ang PromptFlow upang pamahalaan ang workflow at i-automate ang mga paulit-ulit na gawain. +- Pagpapahusay ng Kolaborasyon: Paguumpisahan ang mas maayos na kolaborasyon sa mga miyembro ng koponan sa pamamagitan ng pagbibigay ng pinag-isang development environment. -**Prompt flow** ay isang hanay ng mga development tools na idinisenyo upang gawing mas madali ang buong proseso ng pag-develop ng LLM-based AI application, mula sa pagbuo ng ideya, prototyping, testing, evaluation hanggang sa production deployment at monitoring. Pinapadali nito ang prompt engineering at nagbibigay-daan upang makabuo ng mga LLM app na may kalidad para sa production. +**Prompt flow** ay isang suite ng mga development tools na dinisenyo upang pagaanin ang end-to-end development cycle ng LLM-based AI applications, mula sa ideasyon, prototyping, testing, evaluation hanggang sa production deployment at monitoring. Ginagawang mas madali ang prompt engineering at pinapayagan kang gumawa ng LLM apps na may kalidad pang-produksiyon. -Ang Prompt flow ay maaaring kumonekta sa OpenAI, Azure OpenAI Service, at mga customizable na modelo (Huggingface, local LLM/SLM). Layunin naming i-deploy ang quantized ONNX model ng Phi-3.5 sa mga lokal na aplikasyon. Makakatulong ang Prompt flow upang mas maayos naming maplano ang aming negosyo at makumpleto ang mga lokal na solusyon base sa Phi-3.5. Sa halimbawang ito, pagsasamahin natin ang ONNX Runtime GenAI Library upang makumpleto ang Prompt flow solution gamit ang Windows GPU. +Maaaring kumonekta ang Prompt flow sa OpenAI, Azure OpenAI Service, at mga customizable na modelo (Huggingface, lokal na LLM/SLM). Nais naming ideploy ang Phi-3.5 na quantized ONNX model sa mga lokal na aplikasyon. Makakatulong ang Prompt flow sa mas maayos na pagpaplano ng aming negosyo at makumpleto ang mga lokal na solusyon batay sa Phi-3.5. Sa halimbawa na ito, pagsasamahin natin ang ONNX Runtime GenAI Library upang makumpleto ang Prompt flow solution base sa Windows GPU. -## **Pag-install** +## **Installation** ### **ONNX Runtime GenAI para sa Windows GPU** -Basahin ang gabay na ito para i-set up ang ONNX Runtime GenAI para sa Windows GPU [click here](./ORTWindowGPUGuideline.md) +Basahin ang patnubay na ito para i-setup ang ONNX Runtime GenAI para sa Windows GPU [click here](./ORTWindowGPUGuideline.md) -### **Pag-setup ng Prompt flow sa VSCode** +### **I-setup ang Prompt flow sa VSCode** -1. I-install ang Prompt flow VS Code Extension +1. Mag-install ng Prompt flow VS Code Extension ![pfvscode](../../../../../../translated_images/tl/pfvscode.eff93dfc66a42cbe.webp) -2. Pagkatapos ma-install ang Prompt flow VS Code Extension, i-click ang extension at piliin ang **Installation dependencies** sundin ang gabay na ito para i-install ang Prompt flow SDK sa iyong environment +2. Pagkatapos ma-install ang Prompt flow VS Code Extension, i-click ang extension, at piliin ang **Installation dependencies** sundin ang patnubay na ito upang i-install ang Prompt flow SDK sa iyong environment ![pfsetup](../../../../../../translated_images/tl/pfsetup.b46e93096f5a254f.webp) @@ -34,7 +34,7 @@ Basahin ang gabay na ito para i-set up ang ONNX Runtime GenAI para sa Windows GP ![pfsample](../../../../../../translated_images/tl/pfsample.8d89e70584ffe7c4.webp) -4. Buksan ang **flow.dag.yaml** para piliin ang iyong Python environment +4. Buksan ang **flow.dag.yaml** upang piliin ang iyong Python environment ![pfdag](../../../../../../translated_images/tl/pfdag.264a77f7366458ff.webp) @@ -48,11 +48,11 @@ Buksan ang **flow.dag.yaml** at i-click ang visual editor ![pfv](../../../../../../translated_images/tl/pfv.ba8a81f34b20f603.webp) -Pagkatapos i-click ito, patakbuhin ito para subukan +pagkatapos i-click ito, patakbuhin ito para sa testing ![pfflow](../../../../../../translated_images/tl/pfflow.4e1135a089b1ce1b.webp) -1. Maaari kang magpatakbo ng batch sa terminal para makita ang mas maraming resulta +1. Maaari mong patakbuhin ang batch sa terminal upang makita ang higit pang resulta ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Maaari mong tingnan ang mga resulta sa iyong default browser +Maaari mong tingnan ang mga resulta sa iyong default na browser ![pfresult](../../../../../../translated_images/tl/pfresult.c22c826f8062d7cb.webp) -**Paalala**: -Ang dokumentong ito ay isinalin gamit ang AI translation service na [Co-op Translator](https://github.com/Azure/co-op-translator). Bagamat nagsusumikap kami para sa katumpakan, pakatandaan na ang mga awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o di-tumpak na impormasyon. Ang orihinal na dokumento sa orihinal nitong wika ang dapat ituring na pangunahing sanggunian. Para sa mahahalagang impormasyon, inirerekomenda ang propesyonal na pagsasalin ng tao. Hindi kami mananagot sa anumang hindi pagkakaunawaan o maling interpretasyon na maaaring magmula sa paggamit ng pagsasaling ito. \ No newline at end of file +--- + + +**Pagtatanggi**: +Ang dokumentong ito ay isinalin gamit ang serbisyo ng AI translation na [Co-op Translator](https://github.com/Azure/co-op-translator). Bagama't nagsusumikap kami para sa katumpakan, pakatandaan na ang awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o hindi pagkakatugma. Ang orihinal na dokumento sa orihinal nitong wika ang dapat ituring na pangunahing sanggunian. Para sa mahahalagang impormasyon, inirerekomenda ang propesyonal na pagsasalin ng tao. Hindi kami mananagot sa anumang maling pagkakaintindi o maling interpretasyon na nagmula sa paggamit ng pagsasaling ito. + \ No newline at end of file diff --git a/translations/tr/.co-op-translator.json b/translations/tr/.co-op-translator.json index 0aff67b90..ca9dcfe0d 100644 --- a/translations/tr/.co-op-translator.json +++ b/translations/tr/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:20:28+00:00", + "translation_date": "2026-07-29T17:56:58+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "tr" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:43:14+00:00", + "translation_date": "2026-07-29T17:58:01+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "tr" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:00:14+00:00", + "translation_date": "2026-07-29T17:57:14+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "tr" }, diff --git a/translations/tr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/tr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 6dbcd2a63..07c4c82b5 100644 --- a/translations/tr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/tr/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Model Builder kullanarak Phi-3.5 nasıl kuantize edilir** +# **Onnxruntime için Generatif AI uzantıları kullanarak Phi Ailesini Kantitleme** -Model Builder artık Phi-3.5 Instruct ve Phi-3.5-Vision için ONNX model kuantizasyonunu desteklemektedir. +## **Onnxruntime için Generatif AI uzantıları nedir** + +Bu uzantılar, ONNX Runtime ile generatif AI çalıştırmanıza yardımcı olur ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). ONNX modelleri için generatif AI döngüsü sağlar; bu döngü ONNX Runtime ile çıkarım, logits işleme, arama ve örnekleme ile KV önbellek yönetimini içerir. Geliştiriciler yüksek seviyeli generate() metodunu çağırabilir veya döngü içinde modelin her iterasyonunu çalıştırarak, token'ları birer birer üretebilir ve isteğe bağlı olarak döngü içinde üretim parametrelerini güncelleyebilir. Greedy/beam araması ve TopP, TopK örnekleme desteği ile token dizileri üretebilir ve tekrar cezaları gibi yerleşik logits işlemleri uygular. Ayrıca kolayca özel skorlama ekleyebilirsiniz. + +Uygulama düzeyinde, C++/ C# / Python kullanarak uygulamalar oluşturmak için Onnxruntime için Generatif AI uzantılarını kullanabilirsiniz. Model düzeyinde ise, ince ayarlı modelleri birleştirmek ve ilgili nicel dağıtım çalışmalarını yapmak için kullanabilirsiniz. + + +## **Onnxruntime için Generatif AI uzantıları ile Phi-3.5'i Kantitleme** + +### **Desteklenen Modeller** + +Onnxruntime için Generatif AI uzantıları, Microsoft Phi, Google Gemma, Mistral, Meta LLaMA modellerinin kantitleme dönüşümünü destekler. + + +### **Onnxruntime için Generatif AI uzantılarında Model Oluşturucu** + +Model oluşturucu, ONNX Runtime generate() API ile çalışan optimize ve kantitle edilmiş ONNX modelleri oluşturmayı büyük ölçüde hızlandırır. + +Model Oluşturucu ile modeli INT4, INT8, FP16, FP32'ye kantitleyebilir ve CPU, CUDA, DirectML, Mobil gibi farklı donanım hızlandırma yöntemlerini birleştirebilirsiniz. + +Model Oluşturucu'yu kullanmak için şunları yüklemeniz gerekir: + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Yüklemeden sonra, terminalden Model Oluşturucu betiğini çalıştırarak model formatı ve kantitleme dönüşümü yapabilirsiniz. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +İlgili parametreleri anlama + +1. **model_name** Bu, Hugging face üzerindeki modeldir, örneğin microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct vb. Ayrıca modeli depoladığınız yol da olabilir. + +2. **path_to_output_folder** Kantitleme dönüşümünün kaydedileceği yol + +3. **execution_provider** CPU, CUDA, DirectML gibi farklı donanım hızlandırma desteği + +4. **cache_dir_to_save_hf_files** Modeli Hugging face'den indiriyoruz ve yerel olarak önbelleğe alıyoruz + + + + +***Not:*** + +## **Model Oluşturucu ile Phi-3.5'i Kantitleme Nasıl Yapılır** + +Model Oluşturucu şu anda Phi-3.5 Instruct ve Phi-3.5-Vision için ONNX model kantitlemesini desteklemektedir. ### **Phi-3.5-Instruct** -**CPU hızlandırmalı kuantize INT4 dönüşümü** + +**Kantitlemiş INT 4 için CPU hızlandırmalı dönüşüm** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA hızlandırmalı kuantize INT4 dönüşümü** +**Kantitlemiş INT 4 için CUDA hızlandırmalı dönüşüm** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,7 +101,7 @@ cd models ``` -2. microsoft/Phi-3.5-vision-instruct modelini models klasörüne indirin +2. microsoft/Phi-3.5-vision-instruct modelini models klasörüne indirin [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Lütfen bu dosyaları Phi-3.5-vision-instruct klasörünüze indirin @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Bu dosyayı models klasörüne indirin + +4. Bu dosyayı models klasörüne indirin [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Terminale gidin - FP32 ile ONNX desteğini dönüştürün + FP32 desteği ile ONNX dönüşümü yapın + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Notlar:** -1. Model Builder şu anda Phi-3.5-Instruct ve Phi-3.5-Vision dönüşümünü desteklemekte, ancak Phi-3.5-MoE desteklememektedir. +### **Not:** + +1. Model Oluşturucu şu anda Phi-3.5-Instruct ve Phi-3.5-Vision dönüşümlerini destekliyor, ancak Phi-3.5-MoE'yi desteklemiyor. -2. ONNX’in kuantize edilmiş modelini kullanmak için Generative AI extensions for onnxruntime SDK üzerinden erişebilirsiniz. +2. ONNX'in kantitlemiş modelini kullanmak için Onnxruntime için Generatif AI uzantıları SDK'sını kullanabilirsiniz. -3. Daha sorumlu yapay zeka için, model kuantizasyon dönüşümünden sonra daha etkili sonuç testleri yapılması önerilir. +3. Daha sorumlu AI düşünmemiz gerektiğinden, modelin kantitleme dönüşümünden sonra daha etkili sonuç testleri yapılması önerilir. + +4. CPU INT4 modeli kantitleyerek, kenar cihazlarda dağıtabiliriz, bu da daha iyi uygulama senaryoları sağlar; bu nedenle Phi-3.5-Instruct'i INT 4 çevresinde tamamladık. -4. CPU INT4 modelini kuantize ederek, Edge Cihazlara dağıtım yapabiliriz; bu da daha iyi uygulama senaryoları sağlar. Bu nedenle Phi-3.5-Instruct INT4 çevresinde tamamlanmıştır. ## **Kaynaklar** -1. Generative AI extensions for onnxruntime hakkında daha fazla bilgi edinin [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Onnxruntime için Generatif AI uzantıları hakkında daha fazla bilgi [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Onnxruntime için Generatif AI uzantıları GitHub Deposu [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub Deposu [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Feragatname**: -Bu belge, AI çeviri servisi [Co-op Translator](https://github.com/Azure/co-op-translator) kullanılarak çevrilmiştir. Doğruluk için çaba gösterilse de, otomatik çevirilerin hatalar veya yanlışlıklar içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu oluşabilecek yanlış anlamalar veya yorum hatalarından sorumlu değiliz. \ No newline at end of file + +**Feragatname**: +Bu belge, AI çeviri hizmeti [Co-op Translator](https://github.com/Azure/co-op-translator) kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlık içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu ortaya çıkabilecek yanlış anlamalardan veya yanlış yorumlamalardan sorumlu değiliz. + \ No newline at end of file diff --git a/translations/tr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/tr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 217772257..5d788a111 100644 --- a/translations/tr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/tr/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ -# **OnnxRuntime GenAI Windows GPU için Kılavuz** +# **OnnxRuntime GenAI Windows GPU Kılavuzu** -Bu kılavuz, Windows üzerinde GPU ile ONNX Runtime (ORT) kurulum ve kullanım adımlarını sağlar. Modelleriniz için GPU hızlandırmasını kullanarak performans ve verimliliği artırmanıza yardımcı olmak için tasarlanmıştır. +Bu kılavuz, Windows'ta GPU'larla ONNX Runtime (ORT) kurulumunu ve kullanımını sağlamaktadır. Model performansınızı ve verimliliğinizi artırmak için GPU hızlandırmasından yararlanmanıza yardımcı olmak amacıyla tasarlanmıştır. -Doküman aşağıdaki konularda rehberlik sunar: +Belge, aşağıdaki konularda rehberlik sağlar: -- Ortam Kurulumu: CUDA, cuDNN ve ONNX Runtime gibi gerekli bağımlılıkların kurulumu için talimatlar. -- Konfigürasyon: Ortam ve ONNX Runtime'ın GPU kaynaklarını etkili şekilde kullanması için yapılandırılması. -- Optimizasyon İpuçları: GPU ayarlarınızı en iyi performans için nasıl ince ayar yapacağınız hakkında öneriler. +- Ortam Kurulumu: CUDA, cuDNN ve ONNX Runtime gibi gerekli bağımlılıkların yüklenmesi için talimatlar. +- Yapılandırma: Ortam ve ONNX Runtime'ın GPU kaynaklarını verimli kullanacak şekilde nasıl yapılandırılacağı. +- Optimizasyon İpuçları: GPU ayarlarınızı optimum performans için nasıl ince ayarlayacağınıza dair öneriler. ### **1. Python 3.10.x /3.11.8** - ***Note*** Python ortamınız olarak [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kullanmanız önerilir + ***Not*** Python ortamınız olarak [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) kullanmanız önerilir ```bash @@ -20,9 +20,10 @@ Doküman aşağıdaki konularda rehberlik sunar: ``` - ***Reminder*** Python ONNX kütüphanesi ile ilgili herhangi bir kurulum yaptıysanız, lütfen kaldırın + ***Hatırlatma*** Eğer python ONNX kütüphanesinden herhangi birini kurduysanız, lütfen kaldırın + +### **2. winget ile CMake kurulumu** -### **2. winget ile CMake Kurulumu** ```bash @@ -32,11 +33,12 @@ Doküman aşağıdaki konularda rehberlik sunar: ### **3. Visual Studio 2022 - C++ ile Masaüstü Geliştirme Kurulumu** - ***Note*** Derleme yapmak istemiyorsanız bu adımı atlayabilirsiniz + ***Not*** Derlemek istemiyorsanız bu adımı atlayabilirsiniz ![CPP](../../../../../../translated_images/tr/01.42f52a2b2aedff02.webp) -### **4. NVIDIA Sürücüsünü Kurun** + +### **4. NVIDIA Sürücü Kurulumu** 1. **NVIDIA GPU Sürücüsü** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,9 +46,9 @@ Doküman aşağıdaki konularda rehberlik sunar: 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Kurulum sırasında varsayılan ayarları kullanınız +***Hatırlatma*** Kurulum akışında lütfen varsayılan ayarları kullanın -### **5. NVIDIA Ortamını Ayarlayın** +### **5. NVIDIA Ortamını Ayarlama** NVIDIA CUDNN 9.4 lib, bin, include dosyalarını NVIDIA CUDA 12.4 lib, bin, include klasörlerine kopyalayın @@ -56,7 +58,9 @@ NVIDIA CUDNN 9.4 lib, bin, include dosyalarını NVIDIA CUDA 12.4 lib, bin, incl - *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* dosyalarını *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* klasörüne kopyalayın -### **6. Phi-3.5-mini-instruct-onnx İndirin** + +### **6. Phi-3.5-mini-instruct-onnx İndirme** + ```bash @@ -70,25 +74,30 @@ NVIDIA CUDNN 9.4 lib, bin, include dosyalarını NVIDIA CUDA 12.4 lib, bin, incl ``` -### **7. InferencePhi35Instruct.ipynb Dosyasını Çalıştırın** +### **7. InferencePhi35Instruct.ipynb Çalıştırma** - [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) dosyasını açın ve çalıştırın + [Notebook'u](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) açın ve çalıştırın -![RESULT](../../../../../../translated_images/tr/02.b9b06996cf7255d5.webp) -### **8. ORT GenAI GPU Derlemesi** +![SONUÇ](../../../../../../translated_images/tr/02.b9b06996cf7255d5.webp) - ***Note*** + +### **8. ORT GenAI GPU Derleme** + + + ***Not*** - 1. Öncelikle onnx, onnxruntime ve onnxruntime-genai ile ilgili tüm kurulumları kaldırın + 1. Öncelikle onnx, onnxruntime ve onnxruntime-genai ile ilgili tüm paketleri kaldırın + ```bash pip list ``` - Ardından tüm onnxruntime kütüphanelerini kaldırın, örneğin: + Ardından tüm onnxruntime kütüphanelerini kaldırın, örneğin + ```bash @@ -100,13 +109,17 @@ NVIDIA CUDNN 9.4 lib, bin, include dosyalarını NVIDIA CUDA 12.4 lib, bin, incl ``` - 2. Visual Studio Eklenti desteğini kontrol edin + 2. Visual Studio Uzantısının desteklendiğini kontrol edin - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras klasöründe C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration klasörünün varlığını kontrol edin. + C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras klasöründe C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration klasörünün var olduğunu doğrulayın. - Bulunmazsa, diğer Cuda toolkit sürücü klasörlerini kontrol edin ve visual_studio_integration klasörünü ve içeriğini C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration klasörüne kopyalayın + Eğer bulunamazsa, diğer CUDA toolkit sürücü klasörlerini kontrol edin ve visual_studio_integration klasörünü ve içeriğini C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration yoluna kopyalayın + + + + + - Eğer derlemek istemiyorsanız bu adımı atlayabilirsiniz - - Derleme yapmak istemiyorsanız bu adımı atlayabilirsiniz ```bash @@ -114,16 +127,17 @@ NVIDIA CUDNN 9.4 lib, bin, include dosyalarını NVIDIA CUDA 12.4 lib, bin, incl ``` - - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) dosyasını indirin + - [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) adresinden indirin - - onnxruntime-win-x64-gpu-1.19.2.zip dosyasını açın, **ort** olarak yeniden adlandırın ve ort klasörünü onnxruntime-genai içine kopyalayın + - onnxruntime-win-x64-gpu-1.19.2.zip dosyasının sıkıştırmasını açın, **ort** olarak yeniden adlandırın, ort klasörünü onnxruntime-genai içine kopyalayın - - Windows Terminal kullanarak VS 2022 için Geliştirici Komut İstemi'ne gidin ve onnxruntime-genai klasörüne geçin + - Windows Terminal'i kullanarak VS 2022 için Geliştirici Komut İstemi'ne gidin ve onnxruntime-genai klasörüne geçin -![RESULT](../../../../../../translated_images/tr/03.b83ce473d5ff9b9b.webp) +![SONUÇ](../../../../../../translated_images/tr/03.b83ce473d5ff9b9b.webp) - Python ortamınız ile derleyin + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ NVIDIA CUDNN 9.4 lib, bin, include dosyalarını NVIDIA CUDA 12.4 lib, bin, incl ``` -**Feragatname**: -Bu belge, AI çeviri servisi [Co-op Translator](https://github.com/Azure/co-op-translator) kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hatalar veya yanlışlıklar içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu oluşabilecek yanlış anlamalar veya yorum hatalarından sorumlu değiliz. \ No newline at end of file +--- + + +**Feragatname**: +Bu belge, AI çeviri hizmeti [Co-op Translator](https://github.com/Azure/co-op-translator) kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlık içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu ortaya çıkabilecek yanlış anlamalardan veya yanlış yorumlamalardan sorumlu değiliz. + \ No newline at end of file diff --git a/translations/tr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/tr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index aec0b7138..82aee5f04 100644 --- a/translations/tr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/tr/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,32 +1,32 @@ -# Phi-3.5-Instruct ONNX ile Windows GPU kullanarak Prompt flow çözümü oluşturma +# Windows GPU kullanarak Phi-3.5-Instruct ONNX ile Prompt flow çözümü oluşturma -Aşağıdaki belge, Phi-3 modellerine dayalı yapay zeka uygulamaları geliştirmek için PromptFlow'u ONNX (Open Neural Network Exchange) ile nasıl kullanacağınıza dair bir örnektir. +Aşağıdaki belge, Phi-3 modellerine dayalı AI uygulamaları geliştirmek için ONNX (Open Neural Network Exchange) ile PromptFlow kullanımına bir örnektir. -PromptFlow, LLM tabanlı (Büyük Dil Modeli) yapay zeka uygulamalarının fikir aşamasından prototiplemeye, test ve değerlendirmeye kadar uçtan uca geliştirme döngüsünü kolaylaştırmak için tasarlanmış bir geliştirme araçları paketidir. +PromptFlow, LLM tabanlı (Büyük Dil Modeli) AI uygulamalarının fikir aşamasından prototipleme, test ve değerlendirmeye kadar uçtan uca geliştirme döngüsünü kolaylaştırmak için tasarlanmış bir geliştirme araçları paketidir. PromptFlow'u ONNX ile entegre ederek geliştiriciler: -- Model Performansını Optimize Edebilir: Verimli model çıkarımı ve dağıtımı için ONNX'ten yararlanabilir. -- Geliştirmeyi Basitleştirebilir: İş akışını yönetmek ve tekrarlayan görevleri otomatikleştirmek için PromptFlow'u kullanabilir. -- İş Birliğini Artırabilir: Birleşik bir geliştirme ortamı sağlayarak ekip üyeleri arasında daha iyi iş birliği kolaylaştırabilir. +- Model Performansını Optimize Edebilir: Verimli model çıkarımı ve dağıtımı için ONNX'ten yararlanın. +- Geliştirmeyi Basitleştirebilir: İş akışını yönetmek ve tekrarlayan görevleri otomatikleştirmek için PromptFlow'u kullanın. +- İş Birliğini Geliştirebilir: Birleşik bir geliştirme ortamı sağlayarak ekip üyeleri arasında daha iyi iş birliğini kolaylaştırır. -**Prompt flow**, LLM tabanlı yapay zeka uygulamalarının fikir aşamasından prototipleme, test, değerlendirme, üretim dağıtımı ve izlemeye kadar uçtan uca geliştirme döngüsünü kolaylaştırmak için tasarlanmış bir geliştirme araçları paketidir. Prompt mühendisliğini çok daha kolay hale getirir ve üretim kalitesinde LLM uygulamaları oluşturmanızı sağlar. +**Prompt flow**, fikir aşamasından prototipleme, test, değerlendirme, üretim dağıtımı ve izlemesine kadar LLM tabanlı AI uygulamalarının uçtan uca geliştirme döngüsünü kolaylaştırmak için tasarlanmış bir geliştirme araçları paketidir. Prompt mühendisliğini çok daha kolay hale getirir ve üretim kalitesinde LLM uygulamaları oluşturmanıza olanak tanır. -Prompt flow, OpenAI, Azure OpenAI Service ve özelleştirilebilir modellerle (Huggingface, yerel LLM/SLM) bağlantı kurabilir. Phi-3.5'in kuantize edilmiş ONNX modelini yerel uygulamalara dağıtmayı hedefliyoruz. Prompt flow, işimizi daha iyi planlamamıza ve Phi-3.5 tabanlı yerel çözümleri tamamlamamıza yardımcı olabilir. Bu örnekte, Windows GPU tabanlı Prompt flow çözümünü tamamlamak için ONNX Runtime GenAI Kütüphanesi ile birleştireceğiz. +Prompt flow, OpenAI, Azure OpenAI Hizmeti ve özelleştirilebilir modellerle (Huggingface, yerel LLM/SLM) bağlantı kurabilir. Phi-3.5'in kuantize edilmiş ONNX modelini yerel uygulamalara dağıtmayı hedefliyoruz. Prompt flow, işimizi daha iyi planlamamızda ve Phi-3.5'e dayalı yerel çözümleri tamamlamamızda yardımcı olabilir. Bu örnekte, Windows GPU tabanlı Prompt flow çözümünü tamamlamak için ONNX Runtime GenAI Kütüphanesini birleştireceğiz. ## **Kurulum** ### **Windows GPU için ONNX Runtime GenAI** -Windows GPU için ONNX Runtime GenAI'yi kurmak için bu kılavuzu okuyun [buraya tıklayın](./ORTWindowGPUGuideline.md) +Windows GPU için ONNX Runtime GenAI kurmak için bu kılavuzu okuyun [buraya tıklayın](./ORTWindowGPUGuideline.md) -### **VSCode'da Prompt flow kurulumu** +### **VSCode'da Prompt flow kurulum** -1. Prompt flow VS Code Eklentisini yükleyin +1. Prompt flow VS Code Uzantısını yükleyin ![pfvscode](../../../../../../translated_images/tr/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code Eklentisini yükledikten sonra, eklentiye tıklayın ve **Installation dependencies** seçeneğini seçin, bu kılavuzu takip ederek ortamınıza Prompt flow SDK'yı kurun +2. Prompt flow VS Code Uzantısını yükledikten sonra, uzantıya tıklayın ve **Kurulum bağımlılıklarını** seçerek bu kılavuzu takip edip ortamınızda Prompt flow SDK'yı kurun ![pfsetup](../../../../../../translated_images/tr/pfsetup.b46e93096f5a254f.webp) @@ -38,21 +38,21 @@ Windows GPU için ONNX Runtime GenAI'yi kurmak için bu kılavuzu okuyun [buraya ![pfdag](../../../../../../translated_images/tr/pfdag.264a77f7366458ff.webp) - Phi-3.5-instruct ONNX Model konumunuzu değiştirmek için **chat_phi3_ort.py** dosyasını açın + Phi-3.5-instruct ONNX Model konumunu değiştirmek için **chat_phi3_ort.py** dosyasını açın ![pfphi](../../../../../../translated_images/tr/pfphi.72da81d74244b45f.webp) -5. Prompt flow'u test etmek için çalıştırın +5. Prompt flow'unuzu test etmek için çalıştırın -**flow.dag.yaml** dosyasını açın ve görsel editöre tıklayın +**flow.dag.yaml** dosyasını açın ve görsel düzenleyiciye tıklayın ![pfv](../../../../../../translated_images/tr/pfv.ba8a81f34b20f603.webp) -Buna tıkladıktan sonra çalıştırarak testi başlatın +bunu tıkladıktan sonra çalıştırarak test edin ![pfflow](../../../../../../translated_images/tr/pfflow.4e1135a089b1ce1b.webp) -1. Daha fazla sonuç kontrol etmek için terminalde toplu çalıştırma yapabilirsiniz +1. Daha fazla sonuç görmek için terminalde toplu çalıştırma yapabilirsiniz ```bash @@ -66,5 +66,9 @@ Sonuçları varsayılan tarayıcınızda kontrol edebilirsiniz ![pfresult](../../../../../../translated_images/tr/pfresult.c22c826f8062d7cb.webp) -**Feragatname**: -Bu belge, AI çeviri servisi [Co-op Translator](https://github.com/Azure/co-op-translator) kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hatalar veya yanlışlıklar içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu oluşabilecek yanlış anlamalar veya yorum hatalarından sorumlu değiliz. \ No newline at end of file +--- + + +**Feragatname**: +Bu belge, AI çeviri hizmeti [Co-op Translator](https://github.com/Azure/co-op-translator) kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlık içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu ortaya çıkabilecek yanlış anlamalardan veya yanlış yorumlamalardan sorumlu değiliz. + \ No newline at end of file diff --git a/translations/uk/.co-op-translator.json b/translations/uk/.co-op-translator.json index d9fd32ea4..5f7d7f883 100644 --- a/translations/uk/.co-op-translator.json +++ b/translations/uk/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:27:50+00:00", + "translation_date": "2026-07-29T17:24:15+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "uk" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:48:49+00:00", + "translation_date": "2026-07-29T17:24:58+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "uk" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:04:48+00:00", + "translation_date": "2026-07-29T17:24:33+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "uk" }, diff --git a/translations/uk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/uk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index e10b840e7..59711429c 100644 --- a/translations/uk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/uk/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Як використовувати Model Builder для квантизації Phi-3.5** +# **Квантизація сімейства Phi за допомогою розширень Generative AI для onnxruntime** -Model Builder тепер підтримує квантизацію ONNX моделей для Phi-3.5 Instruct та Phi-3.5-Vision +## **Що таке розширення Generative AI для onnxruntime** + +Ці розширення допомагають запускати генеративний AI з ONNX Runtime ( [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Вони забезпечують цикл генеративного AI для моделей ONNX, включаючи виведення з ONNX Runtime, обробку логітів, пошук і вибірку, а також управління KV кешем. Розробники можуть викликати високорівневий метод generate(), або запускати кожну ітерацію моделі у циклі, генеруючи по одному токену за раз, і при необхідності оновлювати параметри генерації всередині циклу. Підтримується жадібний/пошук променів та вибірка TopP, TopK для генерації послідовностей токенів та вбудована обробка логітів, наприклад, покарання за повторення. Ви також легко можете додати власне оцінювання. + +На рівні застосунку ви можете використовувати розширення Generative AI для onnxruntime для створення застосунків з використанням C++/ C# / Python. На рівні моделі ви можете об’єднувати доопрацьовані моделі та виконувати пов’язані роботи з кількісного розгортання. + + +## **Квантизація Phi-3.5 за допомогою розширень Generative AI для onnxruntime** + +### **Підтримувані моделі** + +Розширення Generative AI для onnxruntime підтримують конвертацію квантизації Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Побудовник моделей у розширеннях Generative AI для onnxruntime** + +Побудовник моделей значно прискорює створення оптимізованих і квантизованих ONNX моделей, які працюють за допомогою API generate() ONNX Runtime. + +За допомогою Побудовника моделей ви можете квантизувати модель до INT4, INT8, FP16, FP32, а також комбінувати різні методи апаратного прискорення, такі як CPU, CUDA, DirectML, Mobile тощо. + +Для використання Побудовника моделей потрібно встановити + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Після встановлення ви можете запустити скрипт Побудовника моделей з терміналу для конвертації формату моделі та квантизації. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Зрозумійте відповідні параметри + +1. **model_name** Це модель з Hugging face, наприклад microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct тощо. Це також може бути шлях, де ви зберігаєте модель + +2. **path_to_output_folder** Шлях збереження конвертованої квантизованої моделі + +3. **execution_provider** Підтримка різних апаратних прискорень, таких як cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Ми завантажуємо модель з Hugging face та кешуємо її локально + + + + +***Примітка：*** + +## **Як використовувати Побудовник моделей для квантизації Phi-3.5** + +Побудовник моделей наразі підтримує квантизацію моделі ONNX для Phi-3.5 Instruct і Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Конвертація з прискоренням на CPU для квантизації INT4** + +**Акселерація на CPU для конвертації в квантизований INT4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Конвертація з прискоренням на CUDA для квантизації INT4** +**Акселерація на CUDA для конвертації в квантизований INT4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. Налаштуйте середовище в терміналі +1. Встановіть середовище в терміналі ```bash @@ -40,7 +101,7 @@ cd models ``` -2. Завантажте microsoft/Phi-3.5-vision-instruct у папку models +2. Завантажте microsoft/Phi-3.5-vision-instruct у папку models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. Будь ласка, завантажте ці файли у вашу папку Phi-3.5-vision-instruct @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Завантажте цей файл у папку models + +4. Завантажте цей файл у папку models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. Перейдіть у термінал +5. Перейдіть до терміналу + + Конвертуйте підтримку ONNX з FP32 - Конвертуйте ONNX з підтримкою FP32 ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` -### **Примітка:** -1. Наразі Model Builder підтримує конвертацію Phi-3.5-Instruct та Phi-3.5-Vision, але не Phi-3.5-MoE +### **Примітка：** + +1. Побудовник моделей наразі підтримує конвертацію Phi-3.5-Instruct і Phi-3.5-Vision, але не Phi-3.5-MoE -2. Для використання квантизованої моделі ONNX можна застосовувати Generative AI extensions for onnxruntime SDK +2. Для використання квантизованої моделі ONNX, ви можете використовувати її через Generative AI extensions for onnxruntime SDK -3. Важливо враховувати відповідальне використання AI, тому після квантизації моделі рекомендується провести більш ретельне тестування результатів +3. Треба більше враховувати відповідальний AI, тому після конвертації квантизації моделі рекомендується проводити більш ефективне тестування результатів + +4. Квантизуючи модель CPU INT4, ми можемо розгортати її на Edge пристроях, що мають кращі сценарії застосування, тому ми завершили Phi-3.5-Instruct навколо INT4 -4. Квантизуючи модель CPU INT4, ми можемо розгортати її на Edge-пристроях, що відкриває кращі сценарії застосування, тому ми завершили роботу над Phi-3.5-Instruct у форматі INT4 ## **Ресурси** -1. Дізнайтеся більше про Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. Дізнайтеся більше про розширення Generative AI для onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. Репозиторій Generative AI extensions для onnxruntime на GitHub [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Репозиторій Generative AI extensions for onnxruntime на GitHub [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**Відмова від відповідальності**: -Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується звертатися до професійного людського перекладу. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу штучного інтелекту для перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. + \ No newline at end of file diff --git a/translations/uk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/uk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 8b7a97b71..13a96cd8c 100644 --- a/translations/uk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/uk/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **Інструкція для OnnxRuntime GenAI Windows GPU** -Ця інструкція містить кроки для налаштування та використання ONNX Runtime (ORT) з GPU на Windows. Вона допоможе вам використовувати апаратне прискорення на GPU для ваших моделей, покращуючи продуктивність та ефективність. +Ця інструкція надає кроки для налаштування та використання ONNX Runtime (ORT) з GPU на Windows. Вона розроблена, щоб допомогти вам використовувати прискорення за допомогою GPU для ваших моделей, покращуючи продуктивність та ефективність. Документ містить рекомендації щодо: -- Налаштування середовища: інструкції з встановлення необхідних залежностей, таких як CUDA, cuDNN та ONNX Runtime. -- Конфігурації: як налаштувати середовище та ONNX Runtime для ефективного використання ресурсів GPU. -- Поради з оптимізації: рекомендації щодо тонкого налаштування параметрів GPU для досягнення максимальної продуктивності. +- Налаштування середовища: Інструкції з встановлення необхідних залежностей, таких як CUDA, cuDNN та ONNX Runtime. +- Конфігурації: Як налаштувати середовище та ONNX Runtime для ефективного використання ресурсів GPU. +- Поради з оптимізації: Рекомендації щодо тонкого налаштування параметрів GPU для оптимальної продуктивності. ### **1. Python 3.10.x /3.11.8** - ***Note*** Рекомендується використовувати [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) як ваше Python середовище + ***Примітка*** Рекомендується використовувати [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) як середовище Python ```bash @@ -20,22 +20,24 @@ ``` - ***Reminder*** Якщо у вас встановлена будь-яка бібліотека ONNX для Python, будь ласка, видаліть її + ***Нагадування*** Якщо у вас встановлена будь-яка бібліотека Python ONNX, будь ласка, видаліть її ### **2. Встановлення CMake за допомогою winget** + ```bash winget install -e --id Kitware.CMake ``` -### **3. Встановлення Visual Studio 2022 - Desktop Development with C++** +### **3. Встановлення Visual Studio 2022 - Desktop Development з C++** - ***Note*** Якщо ви не плануєте компілювати, цей крок можна пропустити + ***Примітка*** Якщо ви не плануєте компілювати, цей крок можна пропустити ![CPP](../../../../../../translated_images/uk/01.42f52a2b2aedff02.webp) + ### **4. Встановлення драйвера NVIDIA** 1. **Драйвер NVIDIA GPU** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** Будь ласка, використовуйте стандартні налаштування під час встановлення +***Нагадування*** Будь ласка, використовуйте стандартні налаштування під час встановлення ### **5. Налаштування середовища NVIDIA** -Скопіюйте бібліотеки NVIDIA CUDNN 9.4 (lib, bin, include) до відповідних папок NVIDIA CUDA 12.4 (lib, bin, include) +Скопіюйте бібліотеки, бінарні файли і заголовки NVIDIA CUDNN 9.4 до відповідних папок NVIDIA CUDA 12.4 -- скопіюйте файли з *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* до *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- скопіюйте файли *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- скопіюйте файли з *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* до *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- скопіюйте файли *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- скопіюйте файли *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* у *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- скопіюйте файли з *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* до *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Завантаження Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ ### **7. Запуск InferencePhi35Instruct.ipynb** - Відкрийте [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) та виконайте + Відкрийте [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) та виконайте + ![RESULT](../../../../../../translated_images/uk/02.b9b06996cf7255d5.webp) + ### **8. Компіляція ORT GenAI GPU** - ***Note*** + + ***Примітка*** - 1. Спочатку видаліть усі пакети, пов’язані з onnx, onnxruntime та onnxruntime-genai + 1. Будь ласка, спочатку видаліть всі пакети, пов'язані з onnx, onnxruntime та onnxruntime-genai + ```bash pip list ``` - Потім видаліть усі бібліотеки onnxruntime, наприклад: + Потім видаліть усі бібліотеки onnxruntime, наприклад + ```bash @@ -100,14 +109,18 @@ ``` - 2. Перевірте підтримку розширень Visual Studio + 2. Перевірте підтримку розширень Visual Studio - Перевірте папку C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, щоб переконатися, що там є C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + Перевірте папку C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras, щоб упевнитися, що існує C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. - Якщо її немає, перевірте інші папки драйверів CUDA toolkit і скопіюйте папку visual_studio_integration з вмістом до C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + Якщо ні, перевірте інші папки драйверів Cuda toolkit і скопіюйте папку visual_studio_integration та її вміст до C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + - Якщо ви не плануєте компілювати, цей крок можна пропустити + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ - Завантажте [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Розпакуйте onnxruntime-win-x64-gpu-1.19.2.zip, перейменуйте папку на **ort** та скопіюйте її до onnxruntime-genai + - Розпакуйте onnxruntime-win-x64-gpu-1.19.2.zip, перейменуйте папку на **ort**, скопіюйте папку ort до onnxruntime-genai - - Використовуючи Windows Terminal, відкрийте Developer Command Prompt для VS 2022 і перейдіть до onnxruntime-genai + - За допомогою Windows Terminal відкрийте Developer Command Prompt для VS 2022 та перейдіть до onnxruntime-genai ![RESULT](../../../../../../translated_images/uk/03.b83ce473d5ff9b9b.webp) - - Скомпілюйте з вашим Python середовищем + - Скомпілюйте його у своєму середовищі Python + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**Відмова від відповідальності**: -Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується звертатися до професійного людського перекладу. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file +--- + + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу штучного інтелекту для перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. + \ No newline at end of file diff --git a/translations/uk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/uk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 834fc3097..4d670eaf5 100644 --- a/translations/uk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/uk/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,24 +1,24 @@ -# Використання Windows GPU для створення рішення Prompt flow з Phi-3.5-Instruct ONNX +# Використання Windows GPU для створення рішення Prompt flow з Phi-3.5-Instruct ONNX -Цей документ є прикладом того, як використовувати PromptFlow з ONNX (Open Neural Network Exchange) для розробки AI-додатків на основі моделей Phi-3. +Наступний документ є прикладом того, як використовувати PromptFlow з ONNX (Open Neural Network Exchange) для розробки AI-додатків на основі моделей Phi-3. -PromptFlow — це набір інструментів для розробки, створений для оптимізації повного циклу розробки AI-додатків на базі LLM (великі мовні моделі), від ідеї та прототипування до тестування та оцінки. +PromptFlow — це пакет інструментів для розробки, призначених для оптимізації повного циклу розробки AI-додатків на основі LLM (Велика мовна модель), від генерації ідеї та прототипування до тестування та оцінки. Інтегруючи PromptFlow з ONNX, розробники можуть: -- Оптимізувати продуктивність моделі: використовувати ONNX для ефективного виконання та розгортання моделей. -- Спрощувати розробку: застосовувати PromptFlow для керування робочим процесом і автоматизації рутинних завдань. -- Покращувати співпрацю: забезпечувати кращу взаємодію між членами команди завдяки єдиному середовищу розробки. +- Оптимізувати продуктивність моделі: використовуйте ONNX для ефективного виконання та розгортання моделей. +- Спрощувати розробку: використовуйте PromptFlow для керування робочим процесом і автоматизації рутинних завдань. +- Покращувати співпрацю: сприяти кращій взаємодії між членами команди, надаючи єдине середовище розробки. -**Prompt flow** — це набір інструментів для розробки, який допомагає оптимізувати повний цикл створення AI-додатків на основі LLM: від ідеї, прототипування, тестування, оцінки до розгортання в продакшн і моніторингу. Він значно спрощує інженерію промптів і дозволяє створювати LLM-додатки з якістю, придатною для продакшну. +**Prompt flow** — це пакет інструментів для розробки, що дозволяє оптимізувати повний цикл розробки AI-додатків на основі LLM, від генерації ідеї, прототипування, тестування та оцінки до розгортання у виробництві та моніторингу. Він значно полегшує prompt engineering і дозволяє створювати якісні LLM додатки для виробництва. -Prompt flow може підключатися до OpenAI, Azure OpenAI Service та налаштовуваних моделей (Huggingface, локальні LLM/SLM). Ми плануємо розгорнути квантизовану ONNX-модель Phi-3.5 у локальних додатках. Prompt flow допоможе нам краще планувати бізнес і створювати локальні рішення на основі Phi-3.5. У цьому прикладі ми поєднаємо ONNX Runtime GenAI Library для створення рішення Prompt flow на базі Windows GPU. +Prompt flow може підключатися до OpenAI, Azure OpenAI Service та налаштовуваних моделей (Huggingface, локальних LLM/SLM). Ми сподіваємося розгорнути квантизовану ONNX модель Phi-3.5 у локальних додатках. Prompt flow допоможе краще планувати бізнес і реалізувати локальні рішення на базі Phi-3.5. У цьому прикладі ми поєднаємо ONNX Runtime GenAI Library для завершення рішення Prompt flow на основі Windows GPU. -## **Встановлення** +## **Інсталяція** ### **ONNX Runtime GenAI для Windows GPU** -Прочитайте цю інструкцію, щоб налаштувати ONNX Runtime GenAI для Windows GPU [натисніть тут](./ORTWindowGPUGuideline.md) +Прочитайте цей посібник для налаштування ONNX Runtime GenAI для Windows GPU [click here](./ORTWindowGPUGuideline.md) ### **Налаштування Prompt flow у VSCode** @@ -26,19 +26,19 @@ Prompt flow може підключатися до OpenAI, Azure OpenAI Service ![pfvscode](../../../../../../translated_images/uk/pfvscode.eff93dfc66a42cbe.webp) -2. Після встановлення розширення Prompt flow для VS Code, натисніть на розширення та оберіть **Installation dependencies**, дотримуйтесь цієї інструкції, щоб встановити Prompt flow SDK у вашому середовищі +2. Після встановлення розширення Prompt flow для VS Code, натисніть розширення та виберіть **Інсталяційні залежності**, дотримуючись цього посібника, щоб встановити Prompt flow SDK у ваше середовище ![pfsetup](../../../../../../translated_images/uk/pfsetup.b46e93096f5a254f.webp) -3. Завантажте [Приклад коду](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) і відкрийте його у VS Code +3. Завантажте [Приклад коду](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) та відкрийте цей приклад у VS Code ![pfsample](../../../../../../translated_images/uk/pfsample.8d89e70584ffe7c4.webp) -4. Відкрийте **flow.dag.yaml**, щоб обрати ваше Python-середовище +4. Відкрийте **flow.dag.yaml** та виберіть ваше Python середовище ![pfdag](../../../../../../translated_images/uk/pfdag.264a77f7366458ff.webp) - Відкрийте **chat_phi3_ort.py**, щоб змінити шлях до вашої ONNX-моделі Phi-3.5-instruct +Відкрийте **chat_phi3_ort.py** для зміни розташування вашої моделі Phi-3.5-instruct ONNX ![pfphi](../../../../../../translated_images/uk/pfphi.72da81d74244b45f.webp) @@ -48,11 +48,11 @@ Prompt flow може підключатися до OpenAI, Azure OpenAI Service ![pfv](../../../../../../translated_images/uk/pfv.ba8a81f34b20f603.webp) -Після цього натисніть запуск для тестування +Після натискання запустіть його для тестування ![pfflow](../../../../../../translated_images/uk/pfflow.4e1135a089b1ce1b.webp) -1. Ви можете запускати пакетні завдання у терміналі, щоб переглянути більше результатів +1. Ви можете запускати пакетні команди у терміналі для отримання більшої кількості результатів ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Результати можна переглянути у вашому браузері за замовчуванням +Ви можете переглядати результати у вашому браузері за замовчуванням ![pfresult](../../../../../../translated_images/uk/pfresult.c22c826f8062d7cb.webp) -**Відмова від відповідальності**: -Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується звертатися до професійного людського перекладу. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file +--- + + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу штучного інтелекту для перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. + \ No newline at end of file diff --git a/translations/ur/.co-op-translator.json b/translations/ur/.co-op-translator.json index 48bde7789..7e36cf06a 100644 --- a/translations/ur/.co-op-translator.json +++ b/translations/ur/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:15:35+00:00", + "translation_date": "2026-07-29T17:43:42+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "ur" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:57:29+00:00", + "translation_date": "2026-07-29T17:43:57+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "ur" }, diff --git a/translations/ur/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/ur/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 9129d3b16..dcb033079 100644 --- a/translations/ur/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/ur/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **Phi-3.5 کو کوانٹائز کرنے کے لیے Model Builder کا استعمال کیسے کریں** +# **آنکس رن ٹائم کے لیے جنریٹو اے آئی ایکسٹینشنز کا استعمال کرتے ہوئے فی خاندان کا کوانٹائزیشن** -اب Model Builder Phi-3.5 Instruct اور Phi-3.5-Vision کے لیے ONNX ماڈل کو کوانٹائز کرنے کی حمایت کرتا ہے۔ +## **آنکس رن ٹائم کے لیے جنریٹو اے آئی ایکسٹینشنز کیا ہیں** + +یہ ایکسٹینشنز آپ کو ONNX رن ٹائم ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)) کے ساتھ جنریٹو اے آئی چلانے میں مدد دیتی ہیں۔ یہ ONNX ماڈلز کے لیے جنریٹو AI لوپ فراہم کرتی ہیں، جس میں ONNX رن ٹائم کے ساتھ انفیرنس، لاجٹس پروسیسنگ، سرچ اور سیمپلنگ، اور KV کیش مینجمنٹ شامل ہیں۔ ڈویلپرز ہائی لیول generate() میتھڈ کال کر سکتے ہیں، یا ماڈل کی ہر دور کو لوپ میں چلا سکتے ہیں، ایک وقت میں ایک ٹوکن جنریٹ کرتے ہوئے، اور آپشنلی جنریشن پیرا میٹرز کو لوپ کے اندر اپ ڈیٹ کر سکتے ہیں۔ اس میں گریڈی/بیم سرچ اور TopP، TopK سیمپلنگ کی سپورٹ ہے تاکہ ٹوکن سیکوئنسز بنائے جا سکیں اور لاجٹس پروسیسنگ جیسے ریپیٹیشن پینالٹیز بھی بلٹ ان ہیں۔ آپ آسانی سے کسٹم اسکورنگ بھی شامل کر سکتے ہیں۔ + +ایپلیکیشن کی سطح پر، آپ آنکس رن ٹائم کے لیے جنریٹو اے آئی ایکسٹینشنز کو C++/ C# / Python استعمال کرتے ہوئے ایپلیکیشنز بنانے کے لیے استعمال کر سکتے ہیں۔ ماڈل کی سطح پر، آپ اسے فائن ٹون کردہ ماڈلز کو مرج کرنے اور متعلقہ معیاری تعیناتی کے کام کرنے کے لیے استعمال کر سکتے ہیں۔ + + +## **آنکس رن ٹائم کے لیے جنریٹو اے آئی ایکسٹینشنز کے ساتھ فی-3.5 کو کوانٹائز کرنا** + +### **سپورٹ کردہ ماڈلز** + +آنکس رن ٹائم کے لیے جنریٹو اے آئی ایکسٹینشنز مائیکروسافٹ فی، گوگل جیما، میسٹریل، میٹا LLaMA کے کوانٹائزیشن تبدیلی کی حمایت کرتے ہیں۔ + + +### **آنکس رن ٹائم کے لیے جنریٹو اے آئی ایکسٹینشنز میں ماڈل بلڈر** + +ماڈل بلڈر ONNX رن ٹائم generate() API کے ساتھ چلنے والے بہتر بنائے گئے اور کوانٹائزڈ ONNX ماڈلز بنانے کو بہت تیز کر دیتا ہے۔ + +ماڈل بلڈر کے ذریعے، آپ ماڈل کو INT4، INT8، FP16، FP32 میں کوانٹائز کر سکتے ہیں، اور مختلف ہارڈویئر ایکسلیریشن کے طریقے جیسے CPU، CUDA، DirectML، موبائل وغیرہ کو ملا سکتے ہیں۔ + +ماڈل بلڈر استعمال کرنے کے لیے آپ کو انسٹال کرنا ہوگا + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +انسٹالیشن کے بعد، آپ ماڈل بلڈر اسکرپٹ کو ٹرمینل سے چلا کر ماڈل فارمیٹ اور کوانٹائزیشن تبدیلی کر سکتے ہیں۔ + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +متعلقہ پیرا میٹرز کو سمجھیں + +1. **model_name** یہ Hugging face پر ماڈل ہے، جیسے microsoft/Phi-3.5-mini-instruct، microsoft/Phi-3.5-vision-instruct، وغیرہ۔ یہ وہ راستہ بھی ہو سکتا ہے جہاں آپ ماڈل اسٹور کرتے ہیں۔ + +2. **path_to_output_folder** کوانٹائز تبدیلی کی محفوظ شدہ جگہ + +3. **execution_provider** مختلف ہارڈویئر ایکسلیریشن سپورٹ، جیسے cpu، cuda، DirectML + +4. **cache_dir_to_save_hf_files** ہم ماڈل کو Hugging face سے ڈاؤن لوڈ کرتے ہیں اور اسے مقامی طور پر کیش کرتے ہیں۔ + + + + +***نوٹ:*** + +## **ماڈل بلڈر کو فی-3.5 کو کوانٹائز کرنے کے لیے کیسے استعمال کریں** + +ماڈل بلڈر اب Phi-3.5 Instruct اور Phi-3.5-Vision کے لیے ONNX ماڈل کوانٹائزیشن کی حمایت کرتا ہے۔ ### **Phi-3.5-Instruct** -**کوانٹائزڈ INT4 کی CPU تیز رفتار تبدیلی** + +**کوانٹائزڈ INT 4 کی CPU ایکسلیریٹڈ تبدیلی** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**کوانٹائزڈ INT4 کی CUDA تیز رفتار تبدیلی** +**کوانٹائزڈ INT 4 کی CUDA ایکسلیریٹڈ تبدیلی** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. ٹرمینل میں ماحول سیٹ کریں +1. ٹرمینل میں ماحول مقرر کریں ```bash @@ -40,7 +101,7 @@ cd models ``` -2. microsoft/Phi-3.5-vision-instruct کو models فولڈر میں ڈاؤن لوڈ کریں +2. models فولڈر میں microsoft/Phi-3.5-vision-instruct ڈاؤن لوڈ کریں [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) 3. براہ کرم یہ فائلیں اپنے Phi-3.5-vision-instruct فولڈر میں ڈاؤن لوڈ کریں @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. یہ فائل models فولڈر میں ڈاؤن لوڈ کریں + +4. اس فائل کو models فولڈر میں ڈاؤن لوڈ کریں [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. ٹرمینل پر جائیں - FP32 کے ساتھ ONNX سپورٹ کو تبدیل کریں + FP32 کے ساتھ ONNX کی سپورٹ کو تبدیل کریں + ```bash @@ -64,23 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **نوٹ:** -1. Model Builder اس وقت Phi-3.5-Instruct اور Phi-3.5-Vision کی تبدیلی کی حمایت کرتا ہے، لیکن Phi-3.5-MoE کی نہیں۔ +1. ماڈل بلڈر فی الحال Phi-3.5-Instruct اور Phi-3.5-Vision کی تبدیلی کی حمایت کرتا ہے، لیکن Phi-3.5-MoE کی نہیں۔ -2. ONNX کے کوانٹائزڈ ماڈل کو استعمال کرنے کے لیے، آپ اسے Generative AI extensions for onnxruntime SDK کے ذریعے استعمال کر سکتے ہیں۔ +2. ONNX کے کوانٹائزڈ ماڈل کو آپ آنکس رن ٹائم کے جنریٹو AI ایکسٹینشنز SDK کے ذریعے استعمال کر سکتے ہیں۔ -3. ہمیں زیادہ ذمہ دار AI پر غور کرنا چاہیے، اس لیے ماڈل کی کوانٹائزیشن تبدیلی کے بعد مؤثر نتائج کی جانچ کرنا تجویز کی جاتی ہے۔ +3. ہمیں مزید ذمہ دار AI پر غور کرنا چاہیے، اس لیے ماڈل کی کوانٹائزیشن تبدیلی کے بعد، زیادہ مؤثر نتائج کی جانچ کی سفارش کی جاتی ہے۔ + +4. CPU INT4 ماڈل کو کوانٹائز کر کے، ہم اسے ایج ڈیوائس پر تعینات کر سکتے ہیں، جس کے اطلاقی منظرنامے بہتر ہیں، اس لیے ہم نے فی-3.5 انسٹرکٹ کو تقریباً INT 4 کے گرد مکمل کر لیا ہے۔ -4. CPU INT4 ماڈل کو کوانٹائز کر کے، ہم اسے Edge Device پر تعینات کر سکتے ہیں، جو بہتر ایپلیکیشن کے منظرنامے فراہم کرتا ہے، اس لیے ہم نے Phi-3.5-Instruct کو INT4 کے گرد مکمل کر لیا ہے۔ ## **وسائل** -1. Generative AI extensions for onnxruntime کے بارے میں مزید جانیں -[https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +1. آنکس رن ٹائم کے لیے جنریٹو AI ایکسٹینشنز کے بارے میں مزید جاننے کے لیے [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) + +2. آنکس رن ٹائم کے لیے جنریٹو AI ایکسٹینشنز کا GitHub ریپو [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime کا GitHub ریپو -[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**دستخطی نوٹ**: -یہ دستاویز AI ترجمہ سروس [Co-op Translator](https://github.com/Azure/co-op-translator) کے ذریعے ترجمہ کی گئی ہے۔ اگرچہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنی مادری زبان میں ہی معتبر ماخذ سمجھی جانی چاہیے۔ اہم معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم پر عائد نہیں ہوتی۔ \ No newline at end of file + +**ڈس کلیمر**: +یہ دستاویز AI ترجمہ سروس [Co-op Translator](https://github.com/Azure/co-op-translator) کے ذریعے ترجمہ کی گئی ہے۔ جبکہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم اس بات سے آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنے مادری زبان میں مستند ماخذ سمجھی جائے گی۔ حساس معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم قبول نہیں کرتے۔ + \ No newline at end of file diff --git a/translations/ur/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/ur/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 2c7d5093d..fdb46c073 100644 --- a/translations/ur/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/ur/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,40 +1,40 @@ -# ونڈوز GPU استعمال کرتے ہوئے Phi-3.5-Instruct ONNX کے ساتھ Prompt flow حل بنانا +# ونڈوز GPU کا استعمال کرتے ہوئے Phi-3.5-Instruct ONNX کے ساتھ Prompt flow حل بنانا -مندرجہ ذیل دستاویز ایک مثال ہے کہ کس طرح PromptFlow کو ONNX (Open Neural Network Exchange) کے ساتھ Phi-3 ماڈلز کی بنیاد پر AI ایپلیکیشنز تیار کرنے کے لیے استعمال کیا جا سکتا ہے۔ +درج ذیل دستاویز ایک مثال ہے کہ Phi-3 ماڈلز کی بنیاد پر AI ایپلیکیشنز تیار کرنے کے لیے ONNX (Open Neural Network Exchange) کے ساتھ PromptFlow کو کیسے استعمال کیا جائے۔ -PromptFlow ایک ترقیاتی ٹولز کا مجموعہ ہے جو LLM-based (Large Language Model) AI ایپلیکیشنز کی مکمل ترقیاتی سائیکل کو آسان بنانے کے لیے ڈیزائن کیا گیا ہے، جس میں خیال سازی، پروٹوٹائپنگ، ٹیسٹنگ اور جائزہ شامل ہیں۔ +PromptFlow ایک ترقیاتی ٹولز کا مجموعہ ہے جو LLM-based (بڑے زبان ماڈل) AI ایپلیکیشنز کے اختتام سے اختتام تک ترقیاتی عمل کو آسان بنانے کے لیے ڈیزائن کیا گیا ہے، تخلیق سے لے کر پروٹوٹائپنگ، جانچ اور تشخیص تک۔ -PromptFlow کو ONNX کے ساتھ مربوط کر کے، ڈویلپرز یہ کر سکتے ہیں: +ONNX کے ساتھ PromptFlow کو یکجا کرکے، ڈویلپرز یہ کر سکتے ہیں: -- ماڈل کی کارکردگی کو بہتر بنائیں: ONNX کا استعمال کرتے ہوئے ماڈل کی مؤثر انفرنس اور تعیناتی کریں۔ -- ترقی کو آسان بنائیں: PromptFlow کا استعمال کر کے ورک فلو کو منظم کریں اور دہرائے جانے والے کاموں کو خودکار بنائیں۔ -- تعاون کو بڑھائیں: ٹیم کے اراکین کے درمیان بہتر تعاون کے لیے ایک متحد ترقیاتی ماحول فراہم کریں۔ +- ماڈل کی کارکردگی کو بہتر بنائیں: مؤثر ماڈل انفَرنس اور تعیناتی کے لئے ONNX کا فائدہ اٹھائیں۔ +- ترقی کو آسان بنائیں: ورک فلو کو منظم کرنے اور دہرائے جانے والے کاموں کو خودکار بنانے کے لیے PromptFlow استعمال کریں۔ +- تعاون کو بڑھائیں: ٹیم کے ارکان کے درمیان بہتر تعاون کو فروغ دیں ایک متحد ترقیاتی ماحول فراہم کرکے۔ -**Prompt flow** ایک ترقیاتی ٹولز کا مجموعہ ہے جو LLM-based AI ایپلیکیشنز کی مکمل ترقیاتی سائیکل کو آسان بناتا ہے، جس میں خیال سازی، پروٹوٹائپنگ، ٹیسٹنگ، جائزہ، پیداوار میں تعیناتی اور نگرانی شامل ہیں۔ یہ پرامپٹ انجینئرنگ کو بہت آسان بناتا ہے اور آپ کو پروڈکشن معیار کے LLM ایپس بنانے کے قابل بناتا ہے۔ +**Prompt flow** ایک ترقیاتی ٹولز کا مجموعہ ہے جو LLM-based AI ایپلیکیشنز کے اختتام سے اختتام تک ترقیاتی چکر کو آسان بناتا ہے، تخلیق، پروٹوٹائپنگ، ٹیسٹنگ، تشخیص سے لے کر پروڈکشن تعیناتی اور مانیٹرنگ تک۔ یہ پرامپٹ انجینئرنگ کو بہت آسان بناتا ہے اور آپ کو پروڈکشن معیار کی LLM ایپس بنانے کے قابل بناتا ہے۔ -Prompt flow OpenAI، Azure OpenAI Service، اور حسب ضرورت ماڈلز (Huggingface، مقامی LLM/SLM) سے جڑ سکتا ہے۔ ہمارا مقصد Phi-3.5 کے quantized ONNX ماڈل کو مقامی ایپلیکیشنز میں تعینات کرنا ہے۔ Prompt flow ہماری مدد کر سکتا ہے کہ ہم اپنے کاروبار کی بہتر منصوبہ بندی کریں اور Phi-3.5 کی بنیاد پر مقامی حل مکمل کریں۔ اس مثال میں، ہم ONNX Runtime GenAI Library کو ونڈوز GPU کی بنیاد پر Prompt flow حل مکمل کرنے کے لیے یکجا کریں گے۔ +Prompt flow OpenAI، Azure OpenAI Service، اور حسب ضرورت ماڈلز (Huggingface، مقامی LLM/SLM) سے جڑ سکتا ہے۔ ہم امید کرتے ہیں کہ Phi-3.5 کے کوانٹائزڈ ONNX ماڈل کو مقامی ایپلیکیشنز پر تعینات کریں گے۔ Prompt flow ہمیں اپنے کاروبار کی بہتر منصوبہ بندی کرنے اور Phi-3.5 کی بنیاد پر مقامی حل مکمل کرنے میں مدد دے سکتا ہے۔ اس مثال میں، ہم Windows GPU کی بنیاد پر Prompt flow حل مکمل کرنے کے لیے ONNX Runtime GenAI لائبریری کو یکجا کریں گے۔ -## **انسٹالیشن** +## **تنصیب** ### **ونڈوز GPU کے لیے ONNX Runtime GenAI** -ونڈوز GPU کے لیے ONNX Runtime GenAI سیٹ کرنے کے لیے اس رہنما کو پڑھیں [یہاں کلک کریں](./ORTWindowGPUGuideline.md) +ونڈوز GPU کے لیے ONNX Runtime GenAI سیٹ کرنے کے لیے یہ رہنمائی پڑھیں [click here](./ORTWindowGPUGuideline.md) -### **VSCode میں Prompt flow سیٹ اپ کریں** +### **VSCode میں Prompt flow سیٹ کریں** -1. Prompt flow VS Code ایکسٹینشن انسٹال کریں +1. Prompt flow VS Code एक्सٹینشن انسٹال کریں ![pfvscode](../../../../../../translated_images/ur/pfvscode.eff93dfc66a42cbe.webp) -2. Prompt flow VS Code ایکسٹینشن انسٹال کرنے کے بعد، ایکسٹینشن پر کلک کریں، اور **Installation dependencies** منتخب کریں، اس رہنما کے مطابق اپنے ماحول میں Prompt flow SDK انسٹال کریں +2. Prompt flow VS Code एक्सٹینشن انسٹال کرنے کے بعد، اس پر کلک کریں، اور **Installation dependencies** منتخب کریں، اس رہنمائی کے مطابق اپنے ماحولیاتی نظام میں Prompt flow SDK انسٹال کریں ![pfsetup](../../../../../../translated_images/ur/pfsetup.b46e93096f5a254f.webp) -3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ڈاؤن لوڈ کریں اور VS Code میں یہ سیمپل کھولیں +3. [Sample Code](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) ڈاؤن لوڈ کریں اور VS Code میں یہ نمونہ کھولیں ![pfsample](../../../../../../translated_images/ur/pfsample.8d89e70584ffe7c4.webp) -4. **flow.dag.yaml** کھولیں اور اپنا Python ماحول منتخب کریں +4. **flow.dag.yaml** کھولیں اور اپنی Python ماحولیاتی نظام کا انتخاب کریں ![pfdag](../../../../../../translated_images/ur/pfdag.264a77f7366458ff.webp) @@ -42,17 +42,18 @@ Prompt flow OpenAI، Azure OpenAI Service، اور حسب ضرورت ماڈلز ![pfphi](../../../../../../translated_images/ur/pfphi.72da81d74244b45f.webp) -5. اپنے prompt flow کو ٹیسٹ کرنے کے لیے چلائیں +5. اپنے prompt flow کو جانچنے کے لیے چلائیں **flow.dag.yaml** کھولیں اور visual editor پر کلک کریں ![pfv](../../../../../../translated_images/ur/pfv.ba8a81f34b20f603.webp) -اس پر کلک کرنے کے بعد، اسے چلائیں اور ٹیسٹ کریں +اس پر کلک کرنے کے بعد، چلائیں اور جانچ کریں ![pfflow](../../../../../../translated_images/ur/pfflow.4e1135a089b1ce1b.webp) -1. آپ ٹرمینل میں بیچ چلا کر مزید نتائج چیک کر سکتے ہیں +1. آپ ٹرمینل میں بیچ بھی چلا کر مزید نتائج چیک کر سکتے ہیں + ```bash @@ -60,9 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -آپ اپنے ڈیفالٹ براؤزر میں نتائج دیکھ سکتے ہیں +آپ اپنے ڈیفالٹ براؤزر میں نتائج چیک کر سکتے ہیں + ![pfresult](../../../../../../translated_images/ur/pfresult.c22c826f8062d7cb.webp) -**دستخطی نوٹ**: -یہ دستاویز AI ترجمہ سروس [Co-op Translator](https://github.com/Azure/co-op-translator) کے ذریعے ترجمہ کی گئی ہے۔ اگرچہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنی مادری زبان میں ہی معتبر ماخذ سمجھی جانی چاہیے۔ اہم معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم پر عائد نہیں ہوتی۔ \ No newline at end of file +--- + + +**ڈس کلیمر**: +یہ دستاویز AI ترجمہ سروس [Co-op Translator](https://github.com/Azure/co-op-translator) کے ذریعے ترجمہ کی گئی ہے۔ جبکہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم اس بات سے آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنے مادری زبان میں مستند ماخذ سمجھی جائے گی۔ حساس معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم قبول نہیں کرتے۔ + \ No newline at end of file diff --git a/translations/vi/.co-op-translator.json b/translations/vi/.co-op-translator.json index e0c30ca89..cfef19150 100644 --- a/translations/vi/.co-op-translator.json +++ b/translations/vi/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:23:23+00:00", + "translation_date": "2026-07-29T17:38:45+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "vi" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:45:16+00:00", + "translation_date": "2026-07-29T17:39:20+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "vi" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T03:02:00+00:00", + "translation_date": "2026-07-29T17:38:59+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "vi" }, diff --git a/translations/vi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/vi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 200af727a..fcaf7f6fd 100644 --- a/translations/vi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/vi/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ +# **Lượng tử hóa Phi Family sử dụng tiện ích mở rộng Generative AI cho onnxruntime** + +## **Generative AI extensions for onnxruntime là gì** + +Tiện ích mở rộng này giúp bạn chạy AI sinh tạo với ONNX Runtime ([https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)). Nó cung cấp vòng lặp AI sinh tạo cho các mô hình ONNX, bao gồm suy luận với ONNX Runtime, xử lý logits, tìm kiếm và lấy mẫu, cùng quản lý bộ nhớ đệm KV. Các nhà phát triển có thể gọi phương thức generate() cao cấp, hoặc chạy mỗi vòng lặp của mô hình trong một vòng lặp, sinh ra một token mỗi lần, và tùy chọn cập nhật các tham số sinh tạo bên trong vòng lặp. Nó hỗ trợ tìm kiếm greedy/beam và lấy mẫu TopP, TopK để tạo chuỗi token và xử lý logits tích hợp như phạt lặp lại. Bạn cũng có thể dễ dàng thêm điểm số tùy chỉnh. + +Ở cấp ứng dụng, bạn có thể sử dụng Generative AI extensions for onnxruntime để xây dựng ứng dụng bằng C++/ C# / Python. Ở cấp mô hình, bạn có thể dùng nó để hợp nhất các mô hình được tinh chỉnh kỹ và làm các công việc triển khai định lượng liên quan. + + +## **Lượng tử hóa Phi-3.5 với Generative AI extensions for onnxruntime** + +### **Mô hình hỗ trợ** + +Generative AI extensions for onnxruntime hỗ trợ chuyển đổi lượng tử các mô hình Microsoft Phi, Google Gemma, Mistral, Meta LLaMA. + + +### **Trình tạo mô hình trong Generative AI extensions for onnxruntime** + +Trình tạo mô hình tăng tốc đáng kể việc tạo các mô hình ONNX tối ưu và lượng tử chạy với API generate() của ONNX Runtime. + +Qua Model Builder, bạn có thể lượng tử mô hình thành INT4, INT8, FP16, FP32, và kết hợp các phương thức tăng tốc phần cứng khác nhau như CPU, CUDA, DirectML, Mobile, v.v. + +Để sử dụng Model Builder, bạn cần cài đặt + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +Sau khi cài đặt, bạn có thể chạy script Model Builder từ terminal để thực hiện chuyển đổi định dạng và lượng tử mô hình. + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +Hiểu các tham số liên quan + +1. **model_name** Đây là mô hình trên Hugging face, như microsoft/Phi-3.5-mini-instruct, microsoft/Phi-3.5-vision-instruct, v.v. Cũng có thể là đường dẫn nơi bạn lưu mô hình + +2. **path_to_output_folder** Đường dẫn lưu file chuyển đổi lượng tử + +3. **execution_provider** Hỗ trợ tăng tốc phần cứng khác nhau, như cpu, cuda, DirectML + +4. **cache_dir_to_save_hf_files** Chúng tôi tải mô hình từ Hugging face và lưu cache cục bộ + + + + +***Lưu ý：*** + ## **Cách sử dụng Model Builder để lượng tử hóa Phi-3.5** -Model Builder hiện hỗ trợ lượng tử hóa mô hình ONNX cho Phi-3.5 Instruct và Phi-3.5-Vision +Model Builder hiện hỗ trợ lượng tử mô hình ONNX cho Phi-3.5 Instruct và Phi-3.5-Vision ### **Phi-3.5-Instruct** -**Chuyển đổi lượng tử hóa INT4 tăng tốc bằng CPU** + +**Chuyển đổi lượng tử INT 4 tăng tốc CPU** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**Chuyển đổi lượng tử hóa INT4 tăng tốc bằng CUDA** +**Chuyển đổi lượng tử INT 4 tăng tốc CUDA** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. Tải microsoft/Phi-3.5-vision-instruct vào thư mục models +2. Tải microsoft/Phi-3.5-vision-instruct vào thư mục models [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. Vui lòng tải các file này về thư mục Phi-3.5-vision-instruct của bạn +3. Vui lòng tải các file này vào thư mục Phi-3.5-vision-instruct của bạn - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. Tải file này về thư mục models + +4. Tải file này vào thư mục models [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. Vào terminal - Chuyển đổi ONNX hỗ trợ với FP32 + Chuyển đổi ONNX hỗ trợ FP32 + ```bash @@ -64,21 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **Lưu ý：** 1. Model Builder hiện chỉ hỗ trợ chuyển đổi Phi-3.5-Instruct và Phi-3.5-Vision, chưa hỗ trợ Phi-3.5-MoE -2. Để sử dụng mô hình lượng tử hóa ONNX, bạn có thể dùng thông qua SDK Generative AI extensions for onnxruntime +2. Để sử dụng mô hình lượng tử của ONNX, bạn có thể dùng qua SDK Generative AI extensions for onnxruntime -3. Cần cân nhắc về AI có trách nhiệm hơn, vì vậy sau khi chuyển đổi lượng tử hóa mô hình, nên tiến hành kiểm tra kết quả hiệu quả hơn +3. Chúng ta cần cân nhắc AI có trách nhiệm hơn, nên sau chuyển đổi lượng tử mô hình, khuyến nghị tiến hành kiểm tra kết quả hiệu quả hơn + +4. Bằng cách lượng tử hóa mô hình CPU INT4, chúng ta có thể triển khai trên thiết bị Edge, có nhiều kịch bản ứng dụng tốt hơn, do đó chúng tôi đã hoàn thành Phi-3.5-Instruct quanh INT 4 -4. Bằng cách lượng tử hóa mô hình CPU INT4, chúng ta có thể triển khai trên thiết bị Edge, phù hợp với nhiều kịch bản ứng dụng hơn, do đó chúng tôi đã hoàn thành Phi-3.5-Instruct với lượng tử hóa INT4 ## **Tài nguyên** 1. Tìm hiểu thêm về Generative AI extensions for onnxruntime [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -2. Kho GitHub Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +2. Repo GitHub của Generative AI extensions for onnxruntime [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) + +--- -**Tuyên bố từ chối trách nhiệm**: -Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng các bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ gốc của nó nên được coi là nguồn chính xác và đáng tin cậy. Đối với các thông tin quan trọng, nên sử dụng dịch vụ dịch thuật chuyên nghiệp do con người thực hiện. Chúng tôi không chịu trách nhiệm về bất kỳ sự hiểu lầm hoặc giải thích sai nào phát sinh từ việc sử dụng bản dịch này. \ No newline at end of file + +**Tuyên bố miễn trừ trách nhiệm**: +Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng bản dịch tự động có thể chứa lỗi hoặc sai sót. Tài liệu gốc bằng ngôn ngữ gốc nên được coi là nguồn tin chính thức. Đối với thông tin quan trọng, nên sử dụng dịch vụ dịch thuật chuyên nghiệp bởi con người. Chúng tôi không chịu trách nhiệm về bất kỳ hiểu lầm hoặc giải thích sai nào phát sinh từ việc sử dụng bản dịch này. + \ No newline at end of file diff --git a/translations/vi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/vi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index a054edd1b..106cc65a4 100644 --- a/translations/vi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/vi/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,12 +1,12 @@ -# **Hướng dẫn sử dụng OnnxRuntime GenAI trên Windows GPU** +# **Hướng Dẫn cho OnnxRuntime GenAI Windows GPU** -Hướng dẫn này cung cấp các bước để thiết lập và sử dụng ONNX Runtime (ORT) với GPU trên Windows. Mục đích là giúp bạn tận dụng khả năng tăng tốc GPU cho các mô hình của mình, cải thiện hiệu suất và hiệu quả. +Hướng dẫn này cung cấp các bước để thiết lập và sử dụng ONNX Runtime (ORT) với GPU trên Windows. Nó được thiết kế để giúp bạn tận dụng tăng tốc GPU cho các mô hình của mình, cải thiện hiệu suất và hiệu quả. -Tài liệu bao gồm hướng dẫn về: +Tài liệu cung cấp hướng dẫn về: -- Thiết lập môi trường: Hướng dẫn cài đặt các phụ thuộc cần thiết như CUDA, cuDNN và ONNX Runtime. -- Cấu hình: Cách cấu hình môi trường và ONNX Runtime để sử dụng tài nguyên GPU một cách hiệu quả. -- Mẹo tối ưu: Lời khuyên để tinh chỉnh cài đặt GPU nhằm đạt hiệu suất tối ưu. +- Thiết lập Môi trường: Hướng dẫn cài đặt các phụ thuộc cần thiết như CUDA, cuDNN và ONNX Runtime. +- Cấu hình: Cách cấu hình môi trường và ONNX Runtime để sử dụng tài nguyên GPU hiệu quả. +- Mẹo Tối ưu hóa: Lời khuyên về cách tinh chỉnh các thiết lập GPU của bạn để đạt hiệu suất tối ưu. ### **1. Python 3.10.x /3.11.8** @@ -20,9 +20,10 @@ Tài liệu bao gồm hướng dẫn về: ``` - ***Nhắc nhở*** Nếu bạn đã cài bất kỳ thư viện ONNX nào liên quan đến Python, vui lòng gỡ cài đặt chúng + ***Nhắc nhở*** Nếu bạn đã cài đặt bất kỳ thư viện python ONNX nào, vui lòng gỡ bỏ nó + +### **2. Cài đặt CMake với winget** -### **2. Cài đặt CMake bằng winget** ```bash @@ -30,12 +31,13 @@ Tài liệu bao gồm hướng dẫn về: ``` -### **3. Cài đặt Visual Studio 2022 - Desktop Development with C++** +### **3. Cài đặt Visual Studio 2022 - Phát triển Desktop với C++** ***Lưu ý*** Nếu bạn không muốn biên dịch, có thể bỏ qua bước này ![CPP](../../../../../../translated_images/vi/01.42f52a2b2aedff02.webp) + ### **4. Cài đặt Driver NVIDIA** 1. **Driver GPU NVIDIA** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -46,18 +48,20 @@ Tài liệu bao gồm hướng dẫn về: ***Nhắc nhở*** Vui lòng sử dụng các thiết lập mặc định trong quá trình cài đặt -### **5. Thiết lập môi trường NVIDIA** +### **5. Thiết lập Môi trường NVIDIA** -Sao chép các thư mục lib, bin, include của NVIDIA CUDNN 9.4 vào thư mục tương ứng của NVIDIA CUDA 12.4 +Sao chép các thư mục lib, bin, include của NVIDIA CUDNN 9.4 vào thư mục lib, bin, include của NVIDIA CUDA 12.4 -- sao chép các file trong *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* vào *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- sao chép các file từ *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* vào *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- sao chép các file trong *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* vào *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- sao chép các file từ *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* vào *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- sao chép các file từ *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* vào *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- sao chép các file trong *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* vào *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. Tải Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ Sao chép các thư mục lib, bin, include của NVIDIA CUDNN 9.4 vào thư m ### **7. Chạy InferencePhi35Instruct.ipynb** - Mở [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) và thực thi + Mở [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) và thực thi + ![RESULT](../../../../../../translated_images/vi/02.b9b06996cf7255d5.webp) + ### **8. Biên dịch ORT GenAI GPU** + ***Lưu ý*** - 1. Vui lòng gỡ cài đặt tất cả các gói liên quan đến onnx, onnxruntime và onnxruntime-genai trước tiên + 1. Vui lòng gỡ cài đặt tất cả các thư viện liên quan đến onnx, onnxruntime và onnxruntime-genai trước tiên + ```bash pip list ``` - Sau đó gỡ cài đặt tất cả các thư viện onnxruntime, ví dụ như + Sau đó gỡ tất cả các thư viện onnxruntime i.e. + ```bash @@ -100,14 +109,18 @@ Sao chép các thư mục lib, bin, include của NVIDIA CUDNN 9.4 vào thư m ``` - 2. Kiểm tra hỗ trợ Extension của Visual Studio + 2. Kiểm tra Hỗ trợ Tiện ích Mở rộng Visual Studio Kiểm tra thư mục C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras để đảm bảo có thư mục C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration. + + Nếu không tìm thấy, kiểm tra các thư mục driver của bộ công cụ Cuda khác và sao chép thư mục visual_studio_integration cùng nội dung vào C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + - Nếu không tìm thấy, kiểm tra các thư mục driver Cuda toolkit khác và sao chép thư mục visual_studio_integration cùng nội dung vào C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration - Nếu bạn không muốn biên dịch, có thể bỏ qua bước này + ```bash git clone https://github.com/microsoft/onnxruntime-genai @@ -116,14 +129,15 @@ Sao chép các thư mục lib, bin, include của NVIDIA CUDNN 9.4 vào thư m - Tải về [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - Giải nén onnxruntime-win-x64-gpu-1.19.2.zip, đổi tên thư mục thành **ort**, sau đó sao chép thư mục ort vào onnxruntime-genai + - Giải nén onnxruntime-win-x64-gpu-1.19.2.zip, và đổi tên thành **ort**, sao chép thư mục ort vào onnxruntime-genai - - Sử dụng Windows Terminal, mở Developer Command Prompt for VS 2022 và chuyển đến thư mục onnxruntime-genai + - Sử dụng Windows Terminal, vào Developer Command Prompt for VS 2022 và truy cập thư mục onnxruntime-genai ![RESULT](../../../../../../translated_images/vi/03.b83ce473d5ff9b9b.webp) - - Biên dịch với môi trường python của bạn + - Biên dịch nó với môi trường python của bạn + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ Sao chép các thư mục lib, bin, include của NVIDIA CUDNN 9.4 vào thư m ``` -**Tuyên bố từ chối trách nhiệm**: -Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ gốc của nó nên được coi là nguồn chính xác và đáng tin cậy. Đối với các thông tin quan trọng, nên sử dụng dịch vụ dịch thuật chuyên nghiệp do con người thực hiện. Chúng tôi không chịu trách nhiệm về bất kỳ sự hiểu lầm hoặc giải thích sai nào phát sinh từ việc sử dụng bản dịch này. \ No newline at end of file +--- + + +**Tuyên bố miễn trừ trách nhiệm**: +Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng bản dịch tự động có thể chứa lỗi hoặc sai sót. Tài liệu gốc bằng ngôn ngữ gốc nên được coi là nguồn tin chính thức. Đối với thông tin quan trọng, nên sử dụng dịch vụ dịch thuật chuyên nghiệp bởi con người. Chúng tôi không chịu trách nhiệm về bất kỳ hiểu lầm hoặc giải thích sai nào phát sinh từ việc sử dụng bản dịch này. + \ No newline at end of file diff --git a/translations/vi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/vi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 156d44ccc..62f7fd62c 100644 --- a/translations/vi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/vi/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,36 +1,36 @@ -# Sử dụng GPU Windows để tạo giải pháp Prompt flow với Phi-3.5-Instruct ONNX +# Sử dụng GPU Windows để tạo giải pháp Prompt flow với Phi-3.5-Instruct ONNX -Tài liệu dưới đây là ví dụ về cách sử dụng PromptFlow với ONNX (Open Neural Network Exchange) để phát triển các ứng dụng AI dựa trên các mô hình Phi-3. +Tài liệu dưới đây là ví dụ về cách sử dụng PromptFlow với ONNX (Open Neural Network Exchange) để phát triển ứng dụng AI dựa trên các mô hình Phi-3. -PromptFlow là bộ công cụ phát triển được thiết kế để đơn giản hóa chu trình phát triển toàn diện các ứng dụng AI dựa trên LLM (Large Language Model), từ ý tưởng, tạo mẫu đến kiểm thử và đánh giá. +PromptFlow là bộ công cụ phát triển được thiết kế để tối ưu hóa chu trình phát triển ứng dụng AI dựa trên LLM (Large Language Model), từ suy nghĩ ý tưởng, tạo mẫu đến thử nghiệm và đánh giá. Bằng cách tích hợp PromptFlow với ONNX, các nhà phát triển có thể: -- Tối ưu hiệu suất mô hình: Tận dụng ONNX để suy luận và triển khai mô hình hiệu quả. +- Tối ưu hóa hiệu suất mô hình: Tận dụng ONNX để suy diễn và triển khai mô hình hiệu quả. - Đơn giản hóa phát triển: Sử dụng PromptFlow để quản lý quy trình làm việc và tự động hóa các tác vụ lặp đi lặp lại. -- Tăng cường hợp tác: Hỗ trợ làm việc nhóm tốt hơn bằng cách cung cấp môi trường phát triển thống nhất. +- Tăng cường hợp tác: Tạo điều kiện thuận lợi cho sự hợp tác tốt hơn giữa các thành viên trong nhóm bằng cách cung cấp môi trường phát triển thống nhất. -**Prompt flow** là bộ công cụ phát triển giúp đơn giản hóa chu trình phát triển toàn diện các ứng dụng AI dựa trên LLM, từ ý tưởng, tạo mẫu, kiểm thử, đánh giá đến triển khai sản xuất và giám sát. Nó giúp việc thiết kế prompt trở nên dễ dàng hơn và cho phép bạn xây dựng các ứng dụng LLM với chất lượng sản xuất. +**Prompt flow** là bộ công cụ phát triển được thiết kế để tối ưu hóa chu trình phát triển end-to-end của các ứng dụng AI dựa trên LLM, từ ý tưởng, tạo mẫu, thử nghiệm, đánh giá đến triển khai sản xuất và giám sát. Nó giúp kỹ thuật prompt trở nên dễ dàng hơn và cho phép bạn xây dựng các ứng dụng LLM với chất lượng sản xuất. -Prompt flow có thể kết nối với OpenAI, Azure OpenAI Service và các mô hình tùy chỉnh (Huggingface, LLM/SLM cục bộ). Chúng tôi hy vọng sẽ triển khai mô hình ONNX đã lượng tử hóa của Phi-3.5 cho các ứng dụng cục bộ. Prompt flow có thể giúp chúng ta lên kế hoạch kinh doanh tốt hơn và hoàn thiện các giải pháp cục bộ dựa trên Phi-3.5. Trong ví dụ này, chúng ta sẽ kết hợp ONNX Runtime GenAI Library để hoàn thiện giải pháp Prompt flow dựa trên GPU Windows. +Prompt flow có thể kết nối với OpenAI, Azure OpenAI Service và các mô hình tùy chỉnh (Huggingface, LLM/SLM cục bộ). Chúng tôi hy vọng triển khai mô hình ONNX lượng tử của Phi-3.5 vào các ứng dụng cục bộ. Prompt flow có thể giúp chúng tôi lập kế hoạch kinh doanh tốt hơn và hoàn thành các giải pháp cục bộ dựa trên Phi-3.5. Trong ví dụ này, chúng tôi sẽ kết hợp Thư viện ONNX Runtime GenAI để hoàn thành giải pháp Prompt flow dựa trên GPU Windows. ## **Cài đặt** -### **ONNX Runtime GenAI cho GPU Windows** +### **ONNX Runtime GenAI cho Windows GPU** -Đọc hướng dẫn này để cài đặt ONNX Runtime GenAI cho GPU Windows [click vào đây](./ORTWindowGPUGuideline.md) +Đọc hướng dẫn này để thiết lập ONNX Runtime GenAI cho Windows GPU [click here](./ORTWindowGPUGuideline.md) -### **Thiết lập Prompt flow trong VSCode** +### **Cài đặt Prompt flow trong VSCode** -1. Cài đặt Prompt flow VS Code Extension +1. Cài đặt Extension Prompt flow trên VS Code ![pfvscode](../../../../../../translated_images/vi/pfvscode.eff93dfc66a42cbe.webp) -2. Sau khi cài đặt Prompt flow VS Code Extension, nhấp vào phần mở rộng và chọn **Installation dependencies** theo hướng dẫn này để cài đặt Prompt flow SDK trong môi trường của bạn +2. Sau khi cài đặt Extension Prompt flow, nhấn vào extension, chọn **Installation dependencies** và làm theo hướng dẫn để cài đặt Prompt flow SDK trong môi trường của bạn ![pfsetup](../../../../../../translated_images/vi/pfsetup.b46e93096f5a254f.webp) -3. Tải về [Mã mẫu](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) và dùng VS Code mở mẫu này +3. Tải [Mã mẫu](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) và mở mẫu này bằng VS Code ![pfsample](../../../../../../translated_images/vi/pfsample.8d89e70584ffe7c4.webp) @@ -38,21 +38,21 @@ Prompt flow có thể kết nối với OpenAI, Azure OpenAI Service và các m ![pfdag](../../../../../../translated_images/vi/pfdag.264a77f7366458ff.webp) - Mở **chat_phi3_ort.py** để thay đổi vị trí mô hình Phi-3.5-instruct ONNX của bạn + Mở **chat_phi3_ort.py** để thay đổi vị trí mô hình ONNX Phi-3.5-instruct của bạn ![pfphi](../../../../../../translated_images/vi/pfphi.72da81d74244b45f.webp) -5. Chạy prompt flow để kiểm thử +5. Chạy prompt flow của bạn để thử nghiệm -Mở **flow.dag.yaml** và nhấp vào trình chỉnh sửa trực quan +Mở **flow.dag.yaml** và nhấn vào trình chỉnh sửa trực quan ![pfv](../../../../../../translated_images/vi/pfv.ba8a81f34b20f603.webp) -sau khi nhấp, chạy để kiểm thử +sau khi nhấn vào đây, chạy nó để kiểm tra ![pfflow](../../../../../../translated_images/vi/pfflow.4e1135a089b1ce1b.webp) -1. Bạn có thể chạy theo lô trong terminal để xem thêm kết quả +1. Bạn có thể chạy batch trong terminal để kiểm tra thêm kết quả ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -Bạn có thể xem kết quả trong trình duyệt mặc định của mình +Bạn có thể xem kết quả trên trình duyệt mặc định của bạn ![pfresult](../../../../../../translated_images/vi/pfresult.c22c826f8062d7cb.webp) -**Tuyên bố từ chối trách nhiệm**: -Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ gốc của nó nên được coi là nguồn chính xác và đáng tin cậy. Đối với các thông tin quan trọng, nên sử dụng dịch vụ dịch thuật chuyên nghiệp do con người thực hiện. Chúng tôi không chịu trách nhiệm về bất kỳ sự hiểu lầm hoặc giải thích sai nào phát sinh từ việc sử dụng bản dịch này. \ No newline at end of file +--- + + +**Tuyên bố miễn trừ trách nhiệm**: +Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI [Co-op Translator](https://github.com/Azure/co-op-translator). Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng bản dịch tự động có thể chứa lỗi hoặc sai sót. Tài liệu gốc bằng ngôn ngữ gốc nên được coi là nguồn tin chính thức. Đối với thông tin quan trọng, nên sử dụng dịch vụ dịch thuật chuyên nghiệp bởi con người. Chúng tôi không chịu trách nhiệm về bất kỳ hiểu lầm hoặc giải thích sai nào phát sinh từ việc sử dụng bản dịch này. + \ No newline at end of file diff --git a/translations/zh-CN/.co-op-translator.json b/translations/zh-CN/.co-op-translator.json index 5a5da4fef..344ce2e4e 100644 --- a/translations/zh-CN/.co-op-translator.json +++ b/translations/zh-CN/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:15:54+00:00", + "translation_date": "2026-07-29T17:44:42+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "zh-CN" }, @@ -331,7 +331,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md": { "original_hash": "651a6c85c349581d566b086f3e325424", - "translation_date": "2026-03-06T04:51:10+00:00", + "translation_date": "2026-07-29T17:47:06+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md", "language_code": "zh-CN" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:39:45+00:00", + "translation_date": "2026-07-29T17:47:30+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "zh-CN" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:57:40+00:00", + "translation_date": "2026-07-29T17:44:58+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "zh-CN" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:57:26+00:00", + "translation_date": "2026-07-29T17:44:15+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "zh-CN" }, diff --git a/translations/zh-CN/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/zh-CN/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 898a473cf..7f257e5a2 100644 --- a/translations/zh-CN/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/zh-CN/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,11 +1,69 @@ -## **如何使用 Model Builder 对 Phi-3.5 进行量化** +# **使用 onnxruntime 的生成式 AI 扩展进行 Phi 系列量化** -Model Builder 现已支持 Phi-3.5 Instruct 和 Phi-3.5-Vision 的 ONNX 模型量化。 +## **什么是 onnxruntime 的生成式 AI 扩展** + +该扩展帮助您使用 ONNX Runtime 运行生成式 AI（[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)）。它为 ONNX 模型提供生成式 AI 循环，包括使用 ONNX Runtime 进行推理、logits 处理、搜索和采样，以及 KV 缓存管理。开发者可以调用高级的 generate() 方法，或者在循环中每次生成一个 token，选择性地在循环内更新生成参数。它支持贪婪/光束搜索和 TopP、TopK 采样来生成 token 序列，同时内置了重复惩罚等 logits 处理。您也可以轻松添加自定义评分。 + +在应用层，您可以使用 onnxruntime 的生成式 AI 扩展用 C++/C#/Python 构建应用程序；在模型层，可用于合并微调后的模型及其相关的量化部署工作。 + + +## **使用 onnxruntime 的生成式 AI 扩展量化 Phi-3.5** + +### 支持的模型 + +onnxruntime 的生成式 AI 扩展支持 Microsoft Phi、Google Gemma、Mistral、Meta LLaMA 的量化转换。 + + +### **onnxruntime 生成式 AI 扩展中的模型构建器** + +模型构建器大幅加速了优化和量化 ONNX 模型的创建，这些模型可通过 ONNX Runtime 的 generate() API 运行。 + +利用模型构建器，您可以将模型量化为 INT4、INT8、FP16、FP32，并结合 CPU、CUDA、DirectML、Mobile 等不同硬件加速方式。 + +使用模型构建器需要安装 + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +安装完成后，您可以通过终端运行模型构建器脚本，执行模型格式和量化转换。 + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +了解相关参数 + +1. **model_name** 这是 Hugging Face 上的模型名称，如 microsoft/Phi-3.5-mini-instruct、microsoft/Phi-3.5-vision-instruct 等，也可以是您存储模型的路径 + +2. **path_to_output_folder** 量化转换后的保存路径 + +3. **execution_provider** 不同硬件加速支持，如 cpu、cuda、DirectML + +4. **cache_dir_to_save_hf_files** 我们从 Hugging Face 下载模型并本地缓存的位置 + + + + +***注意：*** + +## **如何使用模型构建器量化 Phi-3.5** + +模型构建器现支持 Phi-3.5 Instruct 和 Phi-3.5-Vision 的 ONNX 模型量化 ### **Phi-3.5-Instruct** + **CPU 加速的 INT4 量化转换** + ```bash python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cpu -c ./Phi-3.5-mini-instruct @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. 在 models 文件夹中下载 microsoft/Phi-3.5-vision-instruct +2. 下载 microsoft/Phi-3.5-vision-instruct 至 models 文件夹 [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. 请将以下文件下载到你的 Phi-3.5-vision-instruct 文件夹中 +3. 请下载这些文件到您的 Phi-3.5-vision-instruct 文件夹 - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. 将此文件下载到 models 文件夹 + +4. 下载该文件到 models 文件夹 [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) 5. 进入终端 - 使用 FP32 转换 ONNX 支持 + 支持 FP32 的 ONNX 转换 + ```bash @@ -64,23 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **注意：** -1. Model Builder 目前支持 Phi-3.5-Instruct 和 Phi-3.5-Vision 的转换，但不支持 Phi-3.5-MoE +1. 模型构建器目前支持 Phi-3.5-Instruct 和 Phi-3.5-Vision 的转换，但不支持 Phi-3.5-MoE + +2. 想使用 ONNX 量化模型，可以通过 onnxruntime 的生成式 AI 扩展 SDK 使用 + +3. 我们需要更负责任的 AI，因此在模型量化转换后建议进行更有效的结果测试 -2. 要使用 ONNX 的量化模型，可以通过 Generative AI extensions for onnxruntime SDK 来使用 +4. 通过量化 CPU INT4 模型，我们可以将其部署到边缘设备，这有更好的应用场景，因此我们已完成了 Phi-3.5-Instruct 的 INT4 量化工作 -3. 我们需要更多地考虑负责任的 AI，因此模型量化转换后，建议进行更有效的结果测试 -4. 通过量化 CPU INT4 模型，我们可以将其部署到边缘设备，拥有更好的应用场景，因此我们已完成 Phi-3.5-Instruct 的 INT4 量化 +## 资源 -## **资源** +1. 了解更多关于 onnxruntime 的生成式 AI 扩展 [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. 了解更多关于 Generative AI extensions for onnxruntime 的信息 -[https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntime 生成式 AI 扩展 GitHub 仓库 [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub 仓库 -[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**免责声明**： -本文件使用 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 进行翻译。虽然我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始文件的母语版本应被视为权威来源。对于重要信息，建议使用专业人工翻译。我们不对因使用本翻译而产生的任何误解或误释承担责任。 \ No newline at end of file + +**免责声明**： +本文件由 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。 + \ No newline at end of file diff --git a/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md b/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md index a4a86523e..2936ada9f 100644 --- a/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md +++ b/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md @@ -1,188 +1,262 @@ -# 在 Microsoft Foundry 中评估微调的 Phi-3 / Phi-3.5 模型，聚焦微软的负责任 AI 原则 +# 在 Microsoft Foundry 中评估微调后的 Phi-3 / Phi-3.5 模型，聚焦微软的责任 AI 原则 -此端到端（E2E）示例基于微软技术社区的指南“[在 Microsoft Foundry 中评估微调的 Phi-3 / 3.5 模型，聚焦微软的负责任 AI](https://techcommunity.microsoft.com/blog/educatordeveloperblog/evaluate-fine-tuned-phi-3--3-5-models-in-azure-ai-studio-focusing-on-microsofts-/4227850?WT.mc_id=aiml-137032-kinfeylo)”。 +本端到端 (E2E) 示例基于微软技术社区的指南“[在 Microsoft Foundry 中评估微调后的 Phi-3 / 3.5 模型，聚焦微软的责任 AI](https://techcommunity.microsoft.com/blog/educatordeveloperblog/evaluate-fine-tuned-phi-3--3-5-models-in-azure-ai-studio-focusing-on-microsofts-/4227850?WT.mc_id=aiml-137032-kinfeylo)”。 ## 概述 -### 如何在 Microsoft Foundry 中评估微调的 Phi-3 / Phi-3.5 模型的安全性和性能？ +### 如何在 Microsoft Foundry 中评估微调后的 Phi-3 / Phi-3.5 模型的安全性和性能？ -微调模型有时可能导致无意或不期望的响应。为了确保模型保持安全且有效，评估模型生成有害内容的潜力以及产生准确、相关和连贯响应的能力至关重要。本教程将教您如何评估集成到 Microsoft Foundry 中 Prompt flow 的微调 Phi-3 / Phi-3.5 模型的安全性和性能。 +微调模型有时可能导致意外或不希望的响应。为了确保模型的安全性和有效性，评估模型生成有害内容的潜力以及其产生准确、相关和连贯响应的能力非常重要。在本教程中，您将学习如何在 Microsoft Foundry 集成 Prompt flow 的环境下评估微调后的 Phi-3 / Phi-3.5 模型的安全性和性能。 以下是 Microsoft Foundry 的评估流程。 -![Architecture of tutorial.](../../../../../../translated_images/zh-CN/architecture.10bec55250f5d6a4.webp) +![教程架构。](../../../../../../translated_images/zh-CN/architecture.10bec55250f5d6a4.webp) *图片来源：[生成式 AI 应用的评估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* > [!NOTE] > -> 如需了解更详细的信息及探索有关 Phi-3 / Phi-3.5 的更多资源，请访问 [Phi-3CookBook](https://github.com/microsoft/Phi-3CookBook?wt.mc_id=studentamb_279723)。 +> 想获取更详细的信息并探索关于 Phi-3 / Phi-3.5 的更多资源，请访问 [Phi-3CookBook](https://github.com/microsoft/Phi-3CookBook?wt.mc_id=studentamb_279723)。 -### 先决条件 +### 前提条件 - [Python](https://www.python.org/downloads) - [Azure 订阅](https://azure.microsoft.com/free?wt.mc_id=studentamb_279723) - [Visual Studio Code](https://code.visualstudio.com) -- 微调的 Phi-3 / Phi-3.5 模型 +- 微调后的 Phi-3 / Phi-3.5 模型 ### 目录 -1. [**场景 1：Microsoft Foundry 的 Prompt flow 评估简介**](../../../../../../md/02.Application/01.TextAndChat/Phi3) +1. [**场景 1：Microsoft Foundry 的 Prompt flow 评估简介**](#scenario-1-introduction-to-azure-ai-studios-prompt-flow-evaluation) - - [安全性评估简介](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [性能评估简介](../../../../../../md/02.Application/01.TextAndChat/Phi3) + - [安全性评估简介](#安全性评估简介) + - [性能评估简介](#性能评估简介) -1. [**场景 2：在 Microsoft Foundry 中评估 Phi-3 / Phi-3.5 模型**](../../../../../../md/02.Application/01.TextAndChat/Phi3) +1. [**场景 2：在 Microsoft Foundry 中评估 Phi-3 / Phi-3.5 模型**](#scenario-2-evaluating-the-phi-3--phi-35-model-in-azure-ai-studio) - - [开始之前](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [部署 Azure OpenAI 以评估 Phi-3 / Phi-3.5 模型](../../../../../../md/02.Application/01.TextAndChat/Phi3) - - [使用 Microsoft Foundry 的 Prompt flow 评估微调的 Phi-3 / Phi-3.5 模型](../../../../../../md/02.Application/01.TextAndChat/Phi3) + - [开始前准备](#开始前准备) + - [部署 Azure OpenAI 以评估 Phi-3 / Phi-3.5 模型](#deploy-azure-openai-to-evaluate-the-phi-3--phi-35-model) + - [使用 Microsoft Foundry 的 Prompt flow 评估微调后的 Phi-3 / Phi-3.5 模型](#evaluate-the-fine-tuned-phi-3--phi-35-model-using-azure-ai-studios-prompt-flow-evaluation) -1. [恭喜！](../../../../../../md/02.Application/01.TextAndChat/Phi3) +1. [恭喜！](#恭喜！) ## **场景 1：Microsoft Foundry 的 Prompt flow 评估简介** ### 安全性评估简介 -为了确保你的 AI 模型符合伦理且安全，有必要依据微软的负责任 AI 原则对其进行评估。在 Microsoft Foundry 中，安全性评估可以让您检测模型是否容易受到越狱攻击及其生成有害内容的可能性，这与这些原则直接相关。 +为确保您的 AI 模型符合伦理和安全标准，关键在于根据微软的责任 AI 原则进行评估。在 Microsoft Foundry 中，安全性评估允许您评估模型遭受越狱攻击的脆弱性以及其生成有害内容的潜力，这与这些原则直接相关。 -![Safaty evaluation.](../../../../../../translated_images/zh-CN/safety-evaluation.083586ec88dfa950.webp) +![安全性评估。](../../../../../../translated_images/zh-CN/safety-evaluation.083586ec88dfa950.webp) *图片来源：[生成式 AI 应用的评估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* -#### 微软的负责任AI原则 +#### 微软的责任 AI 原则 -在开始技术步骤之前，理解微软的负责任 AI 原则至关重要。该原则是一套伦理框架，旨在指导 AI 系统的负责任开发、部署和运行。这些原则指导着 AI 系统的负责任设计、开发和部署，确保 AI 技术以公平、透明和包容的方式构建。这些原则是评估 AI 模型安全性的基础。 +在开始技术步骤之前，了解微软的责任 AI 原则非常重要，它是一个旨在指导 AI 系统负责任地开发、部署和运营的伦理框架。这些原则指导 AI 系统的负责任设计、开发和部署，确保 AI 技术以公正、透明且包容的方式构建。这些原则是评估 AI 模型安全性的基础。 -微软的负责任 AI 原则包括： +微软的责任 AI 原则包括： -- **公平与包容**：AI 系统应公平对待所有人，避免对处境类似的人群产生不同影响。例如，当 AI 系统为医疗治疗、贷款申请或就业提供指导时，应对有类似症状、财务状况或职业资格的所有人做出相同的建议。 +- 公正与包容：AI 系统应公正对待所有人，避免以不同方式影响相似群体。例如，当 AI 系统提供医疗治疗、贷款申请或就业建议时，应对拥有相似症状、财务状况或专业资格的人群做出相同的建议。 -- **可靠性与安全性**：建立信任的关键是确保 AI 系统运行可靠、安全且持续一致。这些系统应能按原设计运行，安全响应意外状况，并抵抗有害操控。它们的行为及能应对的各种状况反映了开发者在设计和测试阶段预见的情况和环境。 +- 可靠性与安全性：建立信任的关键在于 AI 系统能够可靠、安全和一致地运行。这些系统应能够按设计工作，对意外情况作出安全响应，并抵抗有害操控。它们的行为方式及能适应的各种条件，体现了开发者在设计和测试中预见的情况和环境。 -- **透明度**：当 AI 系统帮助做出对人们生活有重大影响的决策时，必须让人们理解这些决策的生成方式。例如，银行可能使用 AI 系统决定某人是否具有信贷资格；公司可能用 AI 系统决定最合适的候选人。 +- 透明度：当 AI 系统帮助做出对人们生活影响巨大的决策时，人们必须清楚这些决策是如何做出的。例如，银行可能使用 AI 系统决定一个人的信用额度；公司可能使用 AI 系统确定最符合条件的候选人。 -- **隐私与安全**：随着 AI 日益普及，保护隐私和保障个人及商业信息安全变得更加重要且复杂。AI 需要数据访问才能做出准确、知情的预测和决策，因此隐私和数据安全尤为重要。 +- 隐私与安全：随着 AI 越来越普及，保护隐私和确保个人及商业信息安全变得愈加重要和复杂。对 AI 来说，隐私和数据安全需高度关注，因为数据访问对于 AI 系统准确且有根据地预测和决策至关重要。 + +- 问责制：设计和部署 AI 系统的人必须对其系统的运行负责。组织应借鉴行业标准来制定问责规范，确保 AI 系统不会作为影响人们生活的最终决策权威，也保证人类对高度自主的 AI 系统保持有意义的控制。 + +![填充中心。](../../../../../../translated_images/zh-CN/responsibleai2.c07ef430113fad8c.webp) + +*图片来源：[什么是责任 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2&viewFallbackFrom=azureml-api-2%253fwt.mc_id%3Dstudentamb_279723)* + +> [!NOTE] +> 若要了解更多微软的责任 AI 原则，请访问 [什么是责任 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2?wt.mc_id=studentamb_279723)。 + +#### 安全性指标 + +在本教程中，您将使用 Microsoft Foundry 的安全性指标评估微调后的 Phi-3 模型安全性。这些指标帮助您评估模型生成有害内容的潜力及其对越狱攻击的脆弱性。安全性指标包括： + +- 自残相关内容：评估模型是否倾向于产生自残相关内容。 +- 仇恨与不公平内容：评估模型是否倾向于产生仇恨或不公平内容。 +- 暴力内容：评估模型是否倾向于产生暴力内容。 +- 性内容：评估模型是否倾向于产生不适当的性内容。 + +评估这些方面可确保 AI 模型不会生成有害或冒犯性内容，使其符合社会价值观及监管标准。 + +![基于安全性进行评估。](../../../../../../translated_images/zh-CN/evaluate-based-on-safety.c5df819f5b0bfc07.webp) + +### 性能评估简介 + +为确保 AI 模型表现符合预期，重要的是根据性能指标评估其性能。在 Microsoft Foundry 中，性能评估让您评估模型生成准确、相关和连贯响应的有效性。 + +![性能评估。](../../../../../../translated_images/zh-CN/performance-evaluation.48b3e7e01a098740.webp) + +*图片来源：[生成式 AI 应用的评估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* + +#### 性能指标 + +在本教程中，您将使用 Microsoft Foundry 的性能指标评估微调后的 Phi-3 / Phi-3.5 模型的性能。这些指标帮助您评估模型生成准确、相关且连贯响应的有效性。性能指标包括： + +- 根据性：评估生成的答案与输入信息的匹配程度。 +- 相关性：评估生成响应与所提问题的相关性。 +- 连贯性：评估生成文本流畅度、自然阅读体验以及类人语言的程度。 +- 流利性：评估生成文本的语言熟练度。 +- **GPT 相似度**：比较生成响应与真实答案的相似度。 +- **F1 分数**：计算生成响应和源数据之间共享词汇的比例。 + +这些指标帮助您评估模型生成准确、相关且连贯响应的能力。 + +![基于性能进行评估。](../../../../../../translated_images/zh-CN/evaluate-based-on-performance.3e801c647c7554e8.webp) + +## **场景 2：在 Microsoft Foundry 中评估 Phi-3 / Phi-3.5 模型** + +### 开始前准备 + +本教程是之前博客文章“[使用 Prompt Flow 微调并集成自定义 Phi-3 模型：分步指南](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow/ba-p/4178612?wt.mc_id=studentamb_279723)”和“[在 Microsoft Foundry 中用 Prompt Flow 微调并集成自定义 Phi-3 模型](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow-in/ba-p/4191726?wt.mc_id=studentamb_279723)”的延续。在这些文章中，我们演示了如何在 Microsoft Foundry 中微调 Phi-3 / Phi-3.5 模型并与 Prompt flow 集成。 + +本教程中，您将部署 Azure OpenAI 模型作为 Microsoft Foundry 中的评估者，并用其来评估您微调后的 Phi-3 / Phi-3.5 模型。 + +在开始本教程前，请确认您已具备以下前提条件，详见之前教程： + +1. 一个用于评估微调 Phi-3 / Phi-3.5 模型的准备好数据集。 +1. 一个已微调并部署到 Azure 机器学习的 Phi-3 / Phi-3.5 模型。 +1. 在 Microsoft Foundry 中与您的微调 Phi-3 / Phi-3.5 模型集成的 Prompt flow。 + +> [!NOTE] +> 您将使用位于之前博客文章中下载的 **ULTRACHAT_200k** 数据集 data 文件夹中的 *test_data.jsonl* 文件，作为评估微调 Phi-3 / Phi-3.5 模型的数据集。 + +#### 在 Microsoft Foundry 中将自定义 Phi-3 / Phi-3.5 模型与 Prompt flow 集成（代码优先方法） + +> [!NOTE] +> 如果您按照“[在 Microsoft Foundry 中用 Prompt Flow 微调并集成自定义 Phi-3 模型](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow-in/ba-p/4191726?wt.mc_id=studentamb_279723)”中描述的低代码方法来操作，可以跳过此练习，直接进行下一个。 +> 但如果您按“[使用 Prompt Flow 微调并集成自定义 Phi-3 模型：分步指南](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow/ba-p/4178612?wt.mc_id=studentamb_279723)”中的代码优先方法微调并部署了 Phi-3 / Phi-3.5 模型，连接模型到 Prompt flow 的过程会略有不同。您将在本练习中学习该流程。 + +要继续，您需要将微调后的 Phi-3 / Phi-3.5 模型集成到 Microsoft Foundry 的 Prompt flow 中。 + +#### 创建 Microsoft Foundry 中心 Hub + +在创建项目之前，您需要先创建一个 Hub。Hub 类似于资源组，允许您在 Microsoft Foundry 中组织和管理多个项目。 -- **问责制**：设计和部署 AI 系统的人应对系统的运行负责。组织应借鉴行业标准建立问责规范，确保 AI 系统不会成为影响人们生活决策的最终权威。同时确保人在高度自主 1. 登录 [Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 -1. 从左侧选项卡中选择 **All hubs**。 +1. 从左侧标签选择 所有中心。 -1. 从导航菜单中选择 **+ New hub**。 +1. 从导航菜单中选择 **+ 新建中心**。 - ![Create hub.](../../../../../../translated_images/zh-CN/create-hub.5be78fb1e21ffbf1.webp) + ![创建中心。](../../../../../../translated_images/zh-CN/create-hub.5be78fb1e21ffbf1.webp) 1. 执行以下操作： - - 输入 **Hub name**。该值必须唯一。 - - 选择你的 Azure **Subscription**。 - - 选择要使用的 **Resource group**（如有需要，可新建）。 - - 选择你想要使用的 **Location**。 - - 选择要使用的 **Connect Azure AI Services**（如有需要，可新建）。 - - 选择 **Connect Azure AI Search** 时选择 **Skip connecting**。 + - 输入 中心名称。它必须是唯一值。 + - 选择您的 Azure 订阅。 + + - 选择要使用的资源组（如有需要，可创建新的资源组）。 + - 选择您想使用的位置。 + - 选择要使用的连接 Azure AI 服务（如有需要，可创建新的连接）。 + - 选择连接 Azure AI 搜索并选择跳过连接。 - ![Fill hub.](../../../../../../translated_images/zh-CN/fill-hub.baaa108495c71e34.webp) + ![填充中心。](../../../../../../translated_images/zh-CN/fill-hub.baaa108495c71e34.webp) -1. 选择 **Next**。 +1. 选择下一步。 #### 创建 Microsoft Foundry 项目 -1. 在你创建的 Hub 中，从左侧选项卡选择 **All projects**。 +1. 在您创建的中心中，从左侧选项卡选择所有项目。 -1. 从导航菜单中选择 **+ New project**。 +1. 从导航菜单选择+ 新建项目。 - ![Select new project.](../../../../../../translated_images/zh-CN/select-new-project.cd31c0404088d7a3.webp) + ![选择新项目。](../../../../../../translated_images/zh-CN/select-new-project.cd31c0404088d7a3.webp) -1. 输入 **Project name**。该值必须是唯一的。 +1. 输入项目名称。名称必须唯一。 - ![Create project.](../../../../../../translated_images/zh-CN/create-project.ca3b71298b90e420.webp) + ![创建项目。](../../../../../../translated_images/zh-CN/create-project.ca3b71298b90e420.webp) -1. 选择 **Create a project**。 +1. 选择创建项目。 #### 为微调的 Phi-3 / Phi-3.5 模型添加自定义连接 -要将你的自定义 Phi-3 / Phi-3.5 模型集成到 Prompt flow 中，你需要在自定义连接中保存模型的端点和密钥。此设置确保 Prompt flow 可以访问你的自定义 Phi-3 / Phi-3.5 模型。 +要将您的自定义 Phi-3 / Phi-3.5 模型与 Prompt flow 集成，您需要将模型的端点和密钥保存在自定义连接中。该设置确保在 Prompt flow 中访问您的自定义 Phi-3 / Phi-3.5 模型。 -#### 设置微调的 Phi-3 / Phi-3.5 模型的 api key 和 endpoint uri +#### 设置微调后的 Phi-3 / Phi-3.5 模型的 API 密钥和端点 URI -1. 访问 [Azure ML Studio](https://ml.azure.com/home?wt.mc_id=studentamb_279723)。 +1. 访问[Azure ML Studio](https://ml.azure.com/home?wt.mc_id=studentamb_279723)。 -1. 导航到你创建的 Azure 机器学习工作区。 +1. 导航到您创建的 Azure 机器学习工作区。 -1. 从左侧选项卡选择 **Endpoints**。 +1. 从左侧选项卡选择端点。 - ![Select endpoints.](../../../../../../translated_images/zh-CN/select-endpoints.ee7387ecd68bd18d.webp) + ![选择端点。](../../../../../../translated_images/zh-CN/select-endpoints.ee7387ecd68bd18d.webp) -1. 选择你创建的端点。 +1. 选择您创建的端点。 - ![Select endpoints.](../../../../../../translated_images/zh-CN/select-endpoint-created.9f63af5e4cf98b2e.webp) + ![选择创建的端点。](../../../../../../translated_images/zh-CN/select-endpoint-created.9f63af5e4cf98b2e.webp) -1. 从导航菜单选择 **Consume**。 +1. 从导航菜单选择使用。 -1. 复制你的 **REST endpoint** 和 **Primary key**。 +1. 复制您的REST 端点和主密钥。 - ![Copy api key and endpoint uri.](../../../../../../translated_images/zh-CN/copy-endpoint-key.0650c3786bd646ab.webp) + ![复制 api 密钥和端点 URI。](../../../../../../translated_images/zh-CN/copy-endpoint-key.0650c3786bd646ab.webp) #### 添加自定义连接 -1. 访问 [Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 +1. 访问[Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 -1. 导航到你创建的 Microsoft Foundry 项目。 +1. 导航到您创建的 Microsoft Foundry 项目。 -1. 在你创建的项目中，从左侧选项卡选择 **Settings**。 +1. 在您创建的项目中，从左侧选项卡选择设置。 -1. 选择 **+ New connection**。 +1. 选择+ 新建连接。 - ![Select new connection.](../../../../../../translated_images/zh-CN/select-new-connection.fa0f35743758a74b.webp) + ![选择新连接。](../../../../../../translated_images/zh-CN/select-new-connection.fa0f35743758a74b.webp) -1. 从导航菜单选择 **Custom keys**。 +1. 从导航菜单选择自定义密钥。 - ![Select custom keys.](../../../../../../translated_images/zh-CN/select-custom-keys.5a3c6b25580a9b67.webp) + ![选择自定义密钥。](../../../../../../translated_images/zh-CN/select-custom-keys.5a3c6b25580a9b67.webp) 1. 执行以下操作： - - 选择 **+ Add key value pairs**。 - - 键名输入 **endpoint**，并将你从 Azure ML Studio 复制的端点粘贴到值字段。 - - 再次选择 **+ Add key value pairs**。 - - 键名输入 **key**，并将你从 Azure ML Studio 复制的密钥粘贴到值字段。 - - 添加密钥后，选择 **is secret**，以防止密钥被泄露。 + - 选择+ 添加键值对。 + - 键名输入endpoint，并将您从 Azure ML Studio 复制的端点粘贴到值字段。 + - 再次选择+ 添加键值对。 + - 键名输入key，并将您从 Azure ML Studio 复制的密钥粘贴到值字段。 + - 添加密钥后，选择是机密以防止密钥泄露。 - ![Add connection.](../../../../../../translated_images/zh-CN/add-connection.ac7f5faf8b10b0df.webp) + ![添加连接。](../../../../../../translated_images/zh-CN/add-connection.ac7f5faf8b10b0df.webp) -1. 选择 **Add connection**。 +1. 选择添加连接。 #### 创建 Prompt flow -你已在 Microsoft Foundry 中添加了自定义连接。现在，让我们使用以下步骤创建一个 Prompt flow。然后，你将把此 Prompt flow 连接到自定义连接，以便在 Prompt flow 中使用微调的模型。 +您已在 Microsoft Foundry 中添加了自定义连接。现在，让我们按以下步骤创建一个 Prompt flow，然后将此 Prompt flow 连接到自定义连接，以在 Prompt flow 中使用微调的模型。 -1. 导航到你创建的 Microsoft Foundry 项目。 +1. 导航到您创建的 Microsoft Foundry 项目。 -1. 从左侧选项卡选择 **Prompt flow**。 +1. 从左侧选项卡选择Prompt flow。 -1. 从导航菜单选择 **+ Create**。 +1. 从导航菜单选择+ 创建。 - ![Select Promptflow.](../../../../../../translated_images/zh-CN/select-promptflow.18ff2e61ab9173eb.webp) + ![选择 Promptflow。](../../../../../../translated_images/zh-CN/select-promptflow.18ff2e61ab9173eb.webp) -1. 从导航菜单选择 **Chat flow**。 +1. 从导航菜单选择聊天流。 - ![Select chat flow.](../../../../../../translated_images/zh-CN/select-flow-type.28375125ec9996d3.webp) + ![选择聊天流。](../../../../../../translated_images/zh-CN/select-flow-type.28375125ec9996d3.webp) -1. 输入要使用的 **Folder name**。 +1. 输入要使用的文件夹名称。 - ![Select chat flow.](../../../../../../translated_images/zh-CN/enter-name.02ddf8fb840ad430.webp) + ![输入聊天流名称。](../../../../../../translated_images/zh-CN/enter-name.02ddf8fb840ad430.webp) -1. 选择 **Create**。 +1. 选择创建。 -#### 设置 Prompt flow 来与你的自定义 Phi-3 / Phi-3.5 模型聊天 +#### 设置 Prompt flow 与您的自定义 Phi-3 / Phi-3.5 模型聊天 -你需要将微调的 Phi-3 / Phi-3.5 模型集成到 Prompt flow 中。然而，现有的 Prompt flow 并非为此设计。因此，你必须重新设计 Prompt flow，以实现自定义模型的集成。 +您需要将微调的 Phi-3 / Phi-3.5 模型集成到 Prompt flow 中。但现有提供的 Prompt flow 并不适合此用途，因此您必须重新设计 Prompt flow 来实现自定义模型的集成。 -1. 在 Prompt flow 中，执行以下操作来重建现有流程： +1. 在 Prompt flow 中执行下列操作以重建现有流程： - - 选择 **Raw file mode**。 + - 选择原始文件模式。 - 删除 *flow.dag.yml* 文件中所有现有代码。 - - 向 *flow.dag.yml* 添加以下代码。 + - 将以下代码添加到 *flow.dag.yml* 中。 ```yml inputs: @@ -205,11 +279,11 @@ input_data: ${inputs.input_data} ``` - - 选择 **Save**。 + - 选择保存。 - ![Select raw file mode.](../../../../../../translated_images/zh-CN/select-raw-file-mode.06c1eca581ce4f53.webp) + ![选择原始文件模式。](../../../../../../translated_images/zh-CN/select-raw-file-mode.06c1eca581ce4f53.webp) -1. 在 *integrate_with_promptflow.py* 中添加以下代码，以在 Prompt flow 中使用自定义 Phi-3 / Phi-3.5 模型。 +1. 将以下代码添加到 *integrate_with_promptflow.py*，以在 Prompt flow 中使用自定义的 Phi-3 / Phi-3.5 模型。 ```python import logging @@ -230,7 +304,7 @@ Send a request to the Phi-3 / Phi-3.5 model endpoint with the given input data using Custom Connection. """ - # "connection" 是自定义连接的名称，"endpoint" 和 "key" 是自定义连接中的键 + # “connection” 是自定义连接的名称，“endpoint”、“key” 是自定义连接中的键 endpoint_url = connection.endpoint api_key = connection.key @@ -270,182 +344,184 @@ ``` - ![Paste prompt flow code.](../../../../../../translated_images/zh-CN/paste-promptflow-code.cd6d95b101c0ec28.webp) + ![粘贴 Prompt flow 代码。](../../../../../../translated_images/zh-CN/paste-promptflow-code.cd6d95b101c0ec28.webp) > [!NOTE] -> 有关如何在 Microsoft Foundry 中使用 Prompt flow 的更多详细信息，可参见 [Prompt flow in Microsoft Foundry](https://learn.microsoft.com/azure/ai-studio/how-to/prompt-flow)。 +> 如需更多关于在 Microsoft Foundry 中使用 Prompt flow 的详细信息，请参见[Microsoft Foundry 中的 Prompt flow](https://learn.microsoft.com/azure/ai-studio/how-to/prompt-flow)。 -1. 选择 **Chat input** 和 **Chat output**，以启用与模型的聊天功能。 +1. 选择聊天输入、聊天输出以启用与模型的聊天功能。 - ![Select Input Output.](../../../../../../translated_images/zh-CN/select-input-output.c187fc58f25fbfc3.webp) + ![选择输入输出。](../../../../../../translated_images/zh-CN/select-input-output.c187fc58f25fbfc3.webp) -1. 现在你可以与自定义的 Phi-3 / Phi-3.5 模型聊天了。在下一练习中，你将学习如何启动 Prompt flow 并使用它与你的微调模型进行聊天。 +1. 现在，您已准备好与自定义的 Phi-3 / Phi-3.5 模型进行聊天。接下来的练习中，您将学习如何启动 Prompt flow 并使用它与微调模型聊天。 > [!NOTE] > > 重建后的流程应如下图所示： > -> ![Flow example](../../../../../../translated_images/zh-CN/graph-example.82fd1bcdd3fc545b.webp) +> ![流程示例](../../../../../../translated_images/zh-CN/graph-example.82fd1bcdd3fc545b.webp) > #### 启动 Prompt flow -1. 选择 **Start compute sessions** 启动 Prompt flow。 +1. 选择启动计算会话以启动 Prompt flow。 - ![Start compute session.](../../../../../../translated_images/zh-CN/start-compute-session.9acd8cbbd2c43df1.webp) + ![启动计算会话。](../../../../../../translated_images/zh-CN/start-compute-session.9acd8cbbd2c43df1.webp) -1. 选择 **Validate and parse input** 以更新参数。 +1. 选择验证并解析输入以刷新参数。 - ![Validate input.](../../../../../../translated_images/zh-CN/validate-input.c1adb9543c6495be.webp) + ![验证输入。](../../../../../../translated_images/zh-CN/validate-input.c1adb9543c6495be.webp) -1. 选择指向你创建的自定义连接的 **connection** 值。例如，*connection*。 +1. 选择您创建的自定义连接的连接的值，例如 *connection*。 - ![Connection.](../../../../../../translated_images/zh-CN/select-connection.1f2b59222bcaafef.webp) + ![连接。](../../../../../../translated_images/zh-CN/select-connection.1f2b59222bcaafef.webp) -#### 与你的自定义 Phi-3 / Phi-3.5 模型聊天 +#### 与您的自定义 Phi-3 / Phi-3.5 模型聊天 -1. 选择 **Chat**。 +1. 选择聊天。 - ![Select chat.](../../../../../../translated_images/zh-CN/select-chat.0406bd9687d0c49d.webp) + ![选择聊天。](../../../../../../translated_images/zh-CN/select-chat.0406bd9687d0c49d.webp) -1. 以下是结果示例：现在你可以与你的自定义 Phi-3 / Phi-3.5 模型聊天。建议基于用于微调的数据提问。 +1. 下面是一个结果示例：现在您可以与自定义的 Phi-3 / Phi-3.5 模型聊天。建议基于用于微调的数据提问。 - ![Chat with prompt flow.](../../../../../../translated_images/zh-CN/chat-with-promptflow.1cf8cea112359ada.webp) + ![与 Prompt flow 聊天。](../../../../../../translated_images/zh-CN/chat-with-promptflow.1cf8cea112359ada.webp) ### 部署 Azure OpenAI 以评估 Phi-3 / Phi-3.5 模型 -要评估 Microsoft Foundry 中的 Phi-3 / Phi-3.5 模型，你需要部署一个 Azure OpenAI 模型。该模型将用于评估 Phi-3 / Phi-3.5 模型的性能。 +若要在 Microsoft Foundry 中评估 Phi-3 / Phi-3.5 模型，您需要部署一个 Azure OpenAI 模型。此模型将用于评估 Phi-3 / Phi-3.5 模型的性能。 #### 部署 Azure OpenAI -1. 登录 [Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 +1. 登录[Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 -1. 导航到你创建的 Microsoft Foundry 项目。 +1. 导航到您创建的 Microsoft Foundry 项目。 - ![Select Project.](../../../../../../translated_images/zh-CN/select-project-created.5221e0e403e2c9d6.webp) + ![选择项目。](../../../../../../translated_images/zh-CN/select-project-created.5221e0e403e2c9d6.webp) -1. 在你创建的项目中，从左侧选项卡选择 **Deployments**。 +1. 在您创建的项目中，从左侧选项卡选择部署。 -1. 从导航菜单选择 **+ Deploy model**。 +1. 从导航菜单选择+ 部署模型。 -1. 选择 **Deploy base model**。 +1. 选择部署基础模型。 - ![Select Deployments.](../../../../../../translated_images/zh-CN/deploy-openai-model.95d812346b25834b.webp) + ![选择部署。](../../../../../../translated_images/zh-CN/deploy-openai-model.95d812346b25834b.webp) 1. 选择你想使用的 Azure OpenAI 模型。例如，**gpt-4o**。 - ![Select Azure OpenAI model you'd like to use.](../../../../../../translated_images/zh-CN/select-openai-model.959496d7e311546d.webp) + ![选择 Azure OpenAI 模型。](../../../../../../translated_images/zh-CN/select-openai-model.959496d7e311546d.webp) -1. 选择 **Confirm**。 +1. 选择确认。 ### 使用 Microsoft Foundry 的 Prompt flow 评估微调的 Phi-3 / Phi-3.5 模型 -### 开始新评估 +### 开始新的评估 -1. 访问 [Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 +1. 访问[Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 -1. 导航到你创建的 Microsoft Foundry 项目。 +1. 导航到您创建的 Microsoft Foundry 项目。 - ![Select Project.](../../../../../../translated_images/zh-CN/select-project-created.5221e0e403e2c9d6.webp) + ![选择项目。](../../../../../../translated_images/zh-CN/select-project-created.5221e0e403e2c9d6.webp) -1. 在你创建的项目中，从左侧选项卡选择 **Evaluation**。 +1. 在您创建的项目中，从左侧选项卡选择评估。 -1. 从导航菜单选择 **+ New evaluation**。 +1. 从导航菜单选择+ 新建评估。 - ![Select evaluation.](../../../../../../translated_images/zh-CN/select-evaluation.2846ad7aaaca7f4f.webp) + ![选择评估。](../../../../../../translated_images/zh-CN/select-evaluation.2846ad7aaaca7f4f.webp) -1. 选择 **Prompt flow** 评估。 +1. 选择Prompt flow 评估。 - ![Select Prompt flow evaluation.](../../../../../../translated_images/zh-CN/promptflow-evaluation.cb9758cc19b4760f.webp) + ![选择 Prompt flow 评估。](../../../../../../translated_images/zh-CN/promptflow-evaluation.cb9758cc19b4760f.webp) -1. 执行以下操作： +1. 执行以下任务： - - 输入评估名称。该值必须唯一。 - - 选择任务类型为 **Question and answer without context**。因为本教程中使用的 **UlTRACHAT_200k** 数据集不包含上下文。 + - 输入评估名称。必须是唯一值。 + - 选择无上下文的问答作为任务类型。因为本教程使用的UlTRACHAT_200k数据集不包含上下文。 - 选择要评估的 Prompt flow。 - ![Prompt flow evaluation.](../../../../../../translated_images/zh-CN/evaluation-setting1.4aa08259ff7a536e.webp) + ![Prompt flow 评估。](../../../../../../translated_images/zh-CN/evaluation-setting1.4aa08259ff7a536e.webp) -1. 选择 **Next**。 +1. 选择下一步。 -1. 执行以下操作： +1. 执行以下任务： - - 选择 **Add your dataset** 上传数据集。例如，可以上传测试数据集文件，如下载的 **ULTRACHAT_200k** 数据集附带的 *test_data.json1* 文件。 - - 选择与数据集匹配的 **Dataset column**。例如，使用 **ULTRACHAT_200k** 数据集时，选择 **${data.prompt}** 作为数据集列。 + - 选择添加您的数据集上传数据集。例如，您可以上传测试数据集文件，如下载ULTRACHAT_200k数据集时包含的test_data.json1。 + - 选择适合您数据集的数据集列。例如，如果您使用的是ULTRACHAT_200k数据集，选择${data.prompt} 作为数据集列。 - ![Prompt flow evaluation.](../../../../../../translated_images/zh-CN/evaluation-setting2.07036831ba58d64e.webp) + ![Prompt flow 评估。](../../../../../../translated_images/zh-CN/evaluation-setting2.07036831ba58d64e.webp) -1. 选择 **Next**。 +1. 选择下一步。 -1. 执行以下操作以配置性能和质量指标： +1. 执行以下操作配置性能和质量指标： - - 选择你要使用的性能和质量指标。 - - 选择你创建的用于评估的 Azure OpenAI 模型。例如，选择 **gpt-4o**。 + - 选择您要使用的性能和质量指标。 + - 选择您为评估创建的 Azure OpenAI 模型。例如，选择gpt-4o。 - ![Prompt flow evaluation.](../../../../../../translated_images/zh-CN/evaluation-setting3-1.d1ae69e3bf80914e.webp) + ![Prompt flow 评估。](../../../../../../translated_images/zh-CN/evaluation-setting3-1.d1ae69e3bf80914e.webp) -1. 执行以下操作以配置风险和安全指标： +1. 执行以下操作配置风险和安全指标： - - 选择你要使用的风险和安全指标。 - - 选择用以计算缺陷率的阈值。例如，选择 **Medium**。 - - 对 **question**，设置 **Data source** 为 **{$data.prompt}**。 - - 对 **answer**，设置 **Data source** 为 **{$run.outputs.answer}**。 - - 对 **ground_truth**，设置 **Data source** 为 **{$data.message}**。 + - 选择您想使用的风险和安全指标。 + - 选择用以计算缺陷率的阈值。例如，选择中等。 + - 对于问题，选择数据源为{$data.prompt}。 + - 对于答案，选择数据源为{$run.outputs.answer}。 + - 对于真实答案，选择数据源为{$data.message}。 - ![Prompt flow evaluation.](../../../../../../translated_images/zh-CN/evaluation-setting3-2.d53bd075c60a45a2.webp) + ![Prompt flow 评估。](../../../../../../translated_images/zh-CN/evaluation-setting3-2.d53bd075c60a45a2.webp) -1. 选择 **Next**。 +1. 选择下一步。 -1. 选择 **Submit** 以开始评估。 +1. 选择提交开始评估。 -1. 评估将需要一些时间完成。你可以在 **Evaluation** 选项卡中监控进度。 +1. 评估需要一段时间完成。您可以在评估选项卡监控进度。 ### 查看评估结果 > [!NOTE] -> 下面展示的结果仅用于说明评估过程。在本教程中，我们使用了一个基于相对较小数据集微调的模型，可能导致次优结果。实际结果可能根据数据集的大小、质量和多样性，以及模型的具体配置，有显著差异。 +> 以下结果仅用于说明评估过程。本教程使用的是基于较小数据集微调的模型，可能导致次优结果。实际结果将取决于使用的数据集大小、质量、多样性及模型的具体配置，可能存在较大差异。 + +评估完成后，您可以查看性能及安全指标结果。 -评估完成后，你可以查看性能和安全指标的评估结果。 1. 性能和质量指标： - - 评估模型生成连贯、流畅且相关响应的效果。 + - 评估模型生成连贯、流畅及相关回应的有效性。 - ![Evaluation result.](../../../../../../translated_images/zh-CN/evaluation-result-gpu.85f48b42dfb74254.webp) + ![评估结果。](../../../../../../translated_images/zh-CN/evaluation-result-gpu.85f48b42dfb74254.webp) 1. 风险和安全指标： - - 确保模型输出安全且符合负责任的 AI 原则，避免任何有害或冒犯性内容。 + - 确保模型输出安全，符合负责 AI 原则，避免产生有害或冒犯内容。 - ![Evaluation result.](../../../../../../translated_images/zh-CN/evaluation-result-gpu-2.1b74e336118f4fd0.webp) + ![评估结果。](../../../../../../translated_images/zh-CN/evaluation-result-gpu-2.1b74e336118f4fd0.webp) -1. 您可以向下滚动查看**详细指标结果**。 +1. 您可以向下滚动查看详细指标结果。 - ![Evaluation result.](../../../../../../translated_images/zh-CN/detailed-metrics-result.afa2f5c39a4f5f17.webp) + ![评估结果。](../../../../../../translated_images/zh-CN/detailed-metrics-result.afa2f5c39a4f5f17.webp) -1. 通过评估您自定义的 Phi-3 / Phi-3.5 模型的性能和安全指标，您可以确认该模型不仅有效，而且遵循负责任的 AI 实践，准备好进行实际部署。 +1. 通过对您的自定义 Phi-3 / Phi-3.5 模型进行性能及安全指标的评估，可以确认模型不仅有效且符合负责任的 AI 实践，为实际部署做好准备。 -## 祝贺！ +## 恭喜！ ### 您已完成本教程 -您已成功评估与 Microsoft Foundry 中的 Prompt flow 集成的微调 Phi-3 模型。这是确保您的 AI 模型不仅性能优异，还遵循微软的负责任 AI 原则，帮助您构建可信赖且可靠的 AI 应用程序的重要步骤。 + +您已成功评估了集成在 Microsoft Foundry 中 Prompt flow 的微调 Phi-3 模型。这是确保您的 AI 模型不仅表现优异，还遵守微软的负责任 AI 原则的关键步骤，帮助您构建值得信赖且可靠的 AI 应用。 ![Architecture.](../../../../../../translated_images/zh-CN/architecture.10bec55250f5d6a4.webp) ## 清理 Azure 资源 -清理您的 Azure 资源以避免产生额外费用。请登录 Azure 门户，删除以下资源： +清理您的 Azure 资源，以避免对您的账户产生额外费用。请转到 Azure 门户并删除以下资源： - Azure 机器学习资源。 -- Azure 机器学习模型端点。 +- Azure 机器学习模型终结点。 - Microsoft Foundry 项目资源。 - Microsoft Foundry Prompt flow 资源。 -### 下一步 +### 后续步骤 #### 文档 -- [使用负责任的 AI 仪表板评估 AI 系统](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai-dashboard?view=azureml-api-2&source=recommendations?wt.mc_id=studentamb_279723) +- [使用负责任 AI 仪表板评估 AI 系统](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai-dashboard?view=azureml-api-2&source=recommendations?wt.mc_id=studentamb_279723) - [生成式 AI 的评估和监控指标](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-metrics-built-in?tabs=definition?wt.mc_id=studentamb_279723) - [Microsoft Foundry 文档](https://learn.microsoft.com/azure/ai-studio/?wt.mc_id=studentamb_279723) - [Prompt flow 文档](https://microsoft.github.io/promptflow/?wt.mc_id=studentamb_279723) @@ -453,17 +529,17 @@ #### 培训内容 - [微软负责任 AI 方法简介](https://learn.microsoft.com/training/modules/introduction-to-microsofts-responsible-ai-approach/?source=recommendations?wt.mc_id=studentamb_279723) -- [Microsoft Foundry 介绍](https://learn.microsoft.com/training/modules/introduction-to-azure-ai-studio/?wt.mc_id=studentamb_279723) +- [Microsoft Foundry 简介](https://learn.microsoft.com/training/modules/introduction-to-azure-ai-studio/?wt.mc_id=studentamb_279723) ### 参考 -- [什么是负责任的 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2?wt.mc_id=studentamb_279723) -- [宣布在 Azure AI 中推出新工具，帮助您构建更安全、更可信赖的生成式 AI 应用](https://azure.microsoft.com/blog/announcing-new-tools-in-azure-ai-to-help-you-build-more-secure-and-trustworthy-generative-ai-applications/?wt.mc_id=studentamb_279723) +- [什么是负责任 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2?wt.mc_id=studentamb_279723) +- [宣布 Azure AI 中的新工具，帮助您构建更安全且值得信赖的生成式 AI 应用](https://azure.microsoft.com/blog/announcing-new-tools-in-azure-ai-to-help-you-build-more-secure-and-trustworthy-generative-ai-applications/?wt.mc_id=studentamb_279723) - [生成式 AI 应用的评估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723) --- -**免责声明**： -本文件由人工智能翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 进行翻译。尽管我们尽力确保准确性，但请注意，自动翻译可能存在错误或不准确之处。原始文件的源语言文本应被视为权威来源。对于重要信息，建议采用专业人工翻译。对于因使用本翻译而引起的任何误解或误释，我们不承担任何责任。 +**免责声明**： +本文件由 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。 \ No newline at end of file diff --git a/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 720c6334b..15fad4f53 100644 --- a/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **OnnxRuntime GenAI Windows GPU 指南** -本指南介绍了在 Windows 上使用 GPU 配置和运行 ONNX Runtime (ORT) 的步骤，帮助您利用 GPU 加速模型，提高性能和效率。 +本指南提供了在 Windows 上使用 GPU 配置和使用 ONNX Runtime (ORT) 的步骤。旨在帮助您利用 GPU 加速您的模型，提高性能和效率。 -本文档涵盖内容： +本文档提供以下指导： -- 环境搭建：安装 CUDA、cuDNN 和 ONNX Runtime 等必要依赖的说明。 -- 配置方法：如何配置环境和 ONNX Runtime 以有效利用 GPU 资源。 -- 优化建议：针对 GPU 设置的调优技巧，提升性能表现。 +- 环境设置：安装 CUDA、cuDNN 和 ONNX Runtime 等必要依赖的说明。 +- 配置：如何配置环境和 ONNX Runtime 以有效利用 GPU 资源。 +- 优化建议：关于如何微调 GPU 设置以获得最佳性能的建议。 ### **1. Python 3.10.x /3.11.8** - ***Note*** 建议使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作为 Python 环境 + 注意 建议使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作为您的 Python 环境 ```bash @@ -20,23 +20,25 @@ ``` - ***Reminder*** 如果之前安装过任何 Python ONNX 库，请先卸载 + 提醒 如果您安装过任何关于 Python 的 ONNX 库，请卸载它们 ### **2. 使用 winget 安装 CMake** + ```bash winget install -e --id Kitware.CMake ``` -### **3. 安装 Visual Studio 2022 - 使用 C++ 的桌面开发** +### **3. 安装 Visual Studio 2022 - C++ 桌面开发** - ***Note*** 如果不需要编译，可以跳过此步骤 + 注意 如果您不想编译可以跳过此步骤 ![CPP](../../../../../../translated_images/zh-CN/01.42f52a2b2aedff02.webp) -### **4. 安装 NVIDIA 驱动** + +### **4. 安装 NVIDIA 驱动程序** 1. **NVIDIA GPU 驱动** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) @@ -44,20 +46,22 @@ 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** 安装时请使用默认设置 +提醒 请使用默认安装流程 -### **5. 设置 NVIDIA 环境变量** +### **5. 设置 NVIDIA 环境** -将 NVIDIA CUDNN 9.4 的 lib、bin、include 文件复制到 NVIDIA CUDA 12.4 对应目录 +将 NVIDIA CUDNN 9.4 的 lib、bin、include 文件复制到 NVIDIA CUDA 12.4 对应的 lib、bin、include 目录 -- 将 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 下的文件复制到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- 复制 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 目录下的文件到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- 将 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 下的文件复制到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- 复制 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 目录下的文件到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- 复制 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 目录下的文件到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- 将 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 下的文件复制到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. 下载 Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,15 +76,18 @@ ### **7. 运行 InferencePhi35Instruct.ipynb** - 打开 [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 并执行 + 打开 [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 并执行 + ![RESULT](../../../../../../translated_images/zh-CN/02.b9b06996cf7255d5.webp) + ### **8. 编译 ORT GenAI GPU** - ***Note*** + + 注意 - 1. 请先卸载所有关于 onnx、onnxruntime 和 onnxruntime-genai 的包 + 1. 请先卸载所有 onnx、onnxruntime 和 onnxruntime-genai 相关库 ```bash @@ -89,7 +96,8 @@ ``` - 然后卸载所有 onnxruntime 相关库，例如： + 然后卸载所有 onnxruntime 库，即 + ```bash @@ -101,13 +109,17 @@ ``` - 2. 检查 Visual Studio 扩展支持 + 2. 检查 Visual Studio 扩展支持 - 确认路径 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 下存在 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 文件夹。 + 检查 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 中是否有 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 文件夹。 - 如果未找到，请检查其他 CUDA 工具包驱动文件夹，将 visual_studio_integration 文件夹及其内容复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + 如果未找到，请检查其他 CUDA 工具包驱动文件夹，并将 visual_studio_integration 文件夹及其内容复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + + + + - 如果您不想编译可跳过此步骤 - - 如果不需要编译，可以跳过此步骤 ```bash @@ -117,13 +129,13 @@ - 下载 [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - 解压 onnxruntime-win-x64-gpu-1.19.2.zip，重命名为 **ort**，并将 ort 文件夹复制到 onnxruntime-genai 目录下 + - 解压 onnxruntime-win-x64-gpu-1.19.2.zip 并重命名为 **ort**，然后将 ort 文件夹复制到 onnxruntime-genai 目录下 - - 使用 Windows Terminal，打开 VS 2022 的开发者命令提示符，进入 onnxruntime-genai 目录 + - 使用 Windows Terminal，进入 VS 2022 的开发者命令提示符，进入 onnxruntime-genai 目录 ![RESULT](../../../../../../translated_images/zh-CN/03.b83ce473d5ff9b9b.webp) - - 使用你的 Python 环境进行编译 + - 使用您的 Python 环境编译它 ```bash @@ -139,5 +151,9 @@ ``` -**免责声明**： -本文件使用 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 进行翻译。虽然我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言的文档应被视为权威来源。对于重要信息，建议采用专业人工翻译。对于因使用本翻译而产生的任何误解或误释，我们不承担任何责任。 \ No newline at end of file +--- + + +**免责声明**： +本文件由 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。 + \ No newline at end of file diff --git a/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index c1c622808..2af7f69a3 100644 --- a/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/zh-CN/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,20 +1,20 @@ # 使用 Windows GPU 创建基于 Phi-3.5-Instruct ONNX 的 Prompt flow 解决方案 -以下文档示例展示了如何使用 PromptFlow 结合 ONNX（开放神经网络交换格式）来开发基于 Phi-3 模型的 AI 应用。 +下面的文档示例展示了如何使用 PromptFlow 配合 ONNX（开放神经网络交换）开发基于 Phi-3 模型的 AI 应用。 -PromptFlow 是一套开发工具，旨在简化基于大型语言模型（LLM）的 AI 应用从构思、原型设计到测试和评估的端到端开发流程。 +PromptFlow 是一套旨在简化基于大型语言模型（LLM）的 AI 应用从构思、原型设计到测试和评估的端到端开发周期的开发工具集。 -通过将 PromptFlow 与 ONNX 集成，开发者可以： +通过将 PromptFlow 与 ONNX 集成，开发人员可以： - 优化模型性能：利用 ONNX 实现高效的模型推理和部署。 -- 简化开发流程：使用 PromptFlow 管理工作流并自动化重复任务。 -- 增强协作：通过提供统一的开发环境，促进团队成员间更好的协作。 +- 简化开发：使用 PromptFlow 管理工作流程并自动化重复任务。 +- 增强协作：通过提供统一的开发环境促进团队成员间的更好协作。 -**Prompt flow** 是一套开发工具，旨在简化基于 LLM 的 AI 应用从构思、原型设计、测试、评估到生产部署和监控的完整开发周期。它让提示工程变得更加轻松，使你能够构建具备生产质量的 LLM 应用。 +**Prompt flow** 是一套开发工具，旨在简化基于 LLM 的 AI 应用从构思、原型设计、测试、评估到生产部署和监控的端到端开发周期。它使 Prompt 工程变得更加简单，并能帮助您构建具备生产质量的 LLM 应用。 -Prompt flow 可以连接 OpenAI、Azure OpenAI 服务以及可定制模型（Huggingface、本地 LLM/SLM）。我们希望将 Phi-3.5 的量化 ONNX 模型部署到本地应用中。Prompt flow 可以帮助我们更好地规划业务，并基于 Phi-3.5 完成本地解决方案。在本示例中，我们将结合 ONNX Runtime GenAI 库，基于 Windows GPU 完成 Prompt flow 解决方案。 +Prompt flow 可连接 OpenAI、Azure OpenAI 服务及可定制模型（Huggingface、本地 LLM/SLM）。我们希望将 Phi-3.5 的量化 ONNX 模型部署到本地应用中。Prompt flow 能帮我们更好地规划业务并完成基于 Phi-3.5 的本地解决方案。在此示例中，我们将结合 ONNX Runtime GenAI 库完成基于 Windows GPU 的 Prompt flow 解决方案。 -## **安装** +## 安装 ### **适用于 Windows GPU 的 ONNX Runtime GenAI** @@ -26,11 +26,11 @@ Prompt flow 可以连接 OpenAI、Azure OpenAI 服务以及可定制模型（Hug ![pfvscode](../../../../../../translated_images/zh-CN/pfvscode.eff93dfc66a42cbe.webp) -2. 安装 Prompt flow VS Code 扩展后，点击扩展，选择 **Installation dependencies**，按照指南在你的环境中安装 Prompt flow SDK +2. 安装完 Prompt flow VS Code 扩展后，点击该扩展，选择 **Installation dependencies** 按照指南在你的环境中安装 Prompt flow SDK ![pfsetup](../../../../../../translated_images/zh-CN/pfsetup.b46e93096f5a254f.webp) -3. 下载 [示例代码](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf)，并使用 VS Code 打开该示例 +3. 下载 [示例代码](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) 并使用 VS Code 打开该示例 ![pfsample](../../../../../../translated_images/zh-CN/pfsample.8d89e70584ffe7c4.webp) @@ -44,16 +44,17 @@ Prompt flow 可以连接 OpenAI、Azure OpenAI 服务以及可定制模型（Hug 5. 运行你的 prompt flow 进行测试 -打开 **flow.dag.yaml**，点击可视化编辑器 +打开 **flow.dag.yaml** 点击可视化编辑器 ![pfv](../../../../../../translated_images/zh-CN/pfv.ba8a81f34b20f603.webp) -点击后运行测试 +点击后，运行它进行测试 ![pfflow](../../../../../../translated_images/zh-CN/pfflow.4e1135a089b1ce1b.webp) 1. 你也可以在终端批量运行以查看更多结果 + ```bash pf run create --file batch_run.yaml --stream --name 'Your eval qa name' @@ -62,7 +63,12 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' 你可以在默认浏览器中查看结果 + ![pfresult](../../../../../../translated_images/zh-CN/pfresult.c22c826f8062d7cb.webp) -**免责声明**： -本文件使用 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 进行翻译。虽然我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始文件的母语版本应被视为权威来源。对于重要信息，建议采用专业人工翻译。因使用本翻译而产生的任何误解或误释，我们概不负责。 \ No newline at end of file +--- + + +**免责声明**： +本文件由 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。 + \ No newline at end of file diff --git a/translations/zh-CN/md/03.FineTuning/FineTuning_MLX.md b/translations/zh-CN/md/03.FineTuning/FineTuning_MLX.md index c44964183..cbe44dbb5 100644 --- a/translations/zh-CN/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/zh-CN/md/03.FineTuning/FineTuning_MLX.md @@ -1,14 +1,17 @@ # **使用 Apple MLX 框架微调 Phi-3** -我们可以通过 Apple MLX 框架的命令行完成结合 Lora 的微调。（如果想了解更多关于 MLX 框架的操作，请阅读 [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)） +我们可以通过 Apple MLX 框架命令行完成结合 Lora 的微调。（如果您想了解更多 MLX 框架的操作，请阅读 [使用 Apple MLX 框架推理 Phi-3](../03.FineTuning/03.Inference/MLX_Inference.md)） + ## **1. 数据准备** -默认情况下，MLX 框架要求训练、测试和评估数据为 jsonl 格式，并结合 Lora 完成微调任务。 +默认情况下，MLX 框架要求 train、test 和 eval 使用 jsonl 格式，并结合 Lora 完成微调任务。 + + +### ***注意:*** -### ***Note:*** +1. jsonl 数据格式 ： -1. jsonl 数据格式： ```json @@ -19,15 +22,17 @@ ``` -2. 我们的示例使用了 [TruthfulQA 的数据](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但数据量相对较少，因此微调效果不一定最佳。建议学习者根据自身场景使用更优质的数据完成微调。 +2. 我们的示例使用了 [TruthfulQA 的数据](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但数据量相对不足，因此微调结果不一定最佳。建议学习者根据自身场景使用更优的数据完成微调。 -3. 数据格式需结合 Phi-3 模板 +3. 数据格式结合 Phi-3 模板 + +请从此 [链接](../../../../code/04.Finetuning/mlx) 下载数据，请确保包含 ***data*** 文件夹下所有 .jsonl 文件 -请从此[链接](../../../../code/04.Finetuning/mlx)下载数据，确保包含 ***data*** 文件夹中的所有 .jsonl 文件。 ## **2. 在终端进行微调** -请在终端运行以下命令： +请在终端运行以下命令 + ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` -## ***Note:*** + +## ***注意:*** 1. 这是 LoRA 微调，MLX 框架尚未发布 QLoRA -2. 你可以通过修改 config.yaml 来调整部分参数，例如： +2. 您可以通过修改 config.yaml 来更改部分参数，如 + ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -请在终端运行以下命令： +请在终端运行此命令 + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` + ## **3. 运行微调适配器进行测试** -你可以在终端运行微调适配器，命令如下： +您可以在终端运行微调适配器，命令如下 + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -也可以运行原始模型进行结果对比： +并运行原始模型进行结果对比 + ```bash @@ -135,10 +146,12 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -你可以尝试比较微调模型与原始模型的结果差异。 +您可以尝试对比微调模型与原始模型的结果 + ## **4. 合并适配器生成新模型** + ```bash python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct @@ -147,7 +160,8 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ## **5. 使用 ollama 运行量化微调模型** -使用前，请先配置好你的 llama.cpp 环境。 +使用之前，请配置您的 llama.cpp 环境 + ```bash @@ -161,13 +175,14 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***Note:*** +***注意:*** -1. 目前支持 fp32、fp16 和 INT8 的量化转换 +1. 目前支持 fp32、fp16 和 INT 8 的量化转换 2. 合并后的模型缺少 tokenizer.model，请从 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct 下载 -设置一个 [Ollma Model](https://ollama.com/) +设置一个 [Ollama 模型](https://ollama.com/) + ```txt @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -在终端运行命令： +在终端运行命令 + ```bash @@ -186,7 +202,11 @@ PARAMETER stop "<|end|>" ``` -恭喜！你已掌握使用 MLX 框架进行微调的方法。 +恭喜！掌握了使用 MLX 框架进行微调 + +--- -**免责声明**： -本文件使用 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 进行翻译。虽然我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始文件的母语版本应被视为权威来源。对于重要信息，建议采用专业人工翻译。对于因使用本翻译而产生的任何误解或误释，我们不承担任何责任。 \ No newline at end of file + +**免责声明**： +本文件由 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。 + \ No newline at end of file diff --git a/translations/zh-HK/.co-op-translator.json b/translations/zh-HK/.co-op-translator.json index 443c7b1a7..8c8dd2a54 100644 --- a/translations/zh-HK/.co-op-translator.json +++ b/translations/zh-HK/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:16:29+00:00", + "translation_date": "2026-07-29T18:13:46+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "zh-HK" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:40:10+00:00", + "translation_date": "2026-07-29T18:14:19+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "zh-HK" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:57:59+00:00", + "translation_date": "2026-07-29T18:14:01+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "zh-HK" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:57:43+00:00", + "translation_date": "2026-07-29T18:13:23+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "zh-HK" }, diff --git a/translations/zh-HK/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/zh-HK/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 1f49b7058..75c0d6d49 100644 --- a/translations/zh-HK/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/zh-HK/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **如何使用 Model Builder 量化 Phi-3.5** +# **使用 onnxruntime 的生成式 AI 擴展對 Phi 系列進行量化** -Model Builder 現已支援 Phi-3.5 Instruct 和 Phi-3.5-Vision 的 ONNX 模型量化。 +## **什麼是 onnxruntime 的生成式 AI 擴展** + +該擴展幫助您使用 ONNX Runtime（[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)）運行生成式 AI。它為 ONNX 模型提供生成式 AI 流程，包括使用 ONNX Runtime 進行推理、logits 處理、搜尋與採樣，以及 KV 快取管理。開發者可以呼叫高階的 generate() 方法，或者在循環中逐次執行模型來生成一個 token，並可選擇在循環中更新生成參數。它支援貪婪/束搜索（beam search）以及 TopP、TopK 採樣，以生成 token 序列，並內建了重複懲罰等 logits 處理。您也可以輕鬆添加自訂評分。 + +在應用層面，您可以使用 onnxruntime 的生成式 AI 擴展以 C++/ C# / Python 建構應用程式。在模型層面，您可以用它來合併已微調的模型並進行相應的量化部署工作。 + + +## **使用 onnxruntime 的生成式 AI 擴展對 Phi-3.5 進行量化** + +### 支援的模型 + +onnxruntime 的生成式 AI 擴展支援 Microsoft Phi、Google Gemma、Mistral、Meta LLaMA 的量化轉換。 + + +### **onnxruntime 的生成式 AI 擴展中的模型建構器** + +模型建構器大幅加速了建構可使用 ONNX Runtime generate() API 執行的優化與量化 ONNX 模型。 + +透過模型建構器，您可以將模型量化至 INT4、INT8、FP16、FP32，並結合 CPU、CUDA、DirectML、行動裝置等不同硬體加速方式。 + +使用模型建構器，您需要安裝 + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +安裝完成後，您可以從終端機執行模型建構器腳本來執行模型格式及量化轉換。 + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +了解相關參數 + +1. **model_name** 這是 Hugging face 上的模型名稱，如 microsoft/Phi-3.5-mini-instruct、microsoft/Phi-3.5-vision-instruct 等，也可以是您存放模型的路徑 + +2. **path_to_output_folder** 量化轉換的儲存路徑 + +3. **execution_provider** 不同的硬體加速支援，如 cpu、cuda、DirectML + +4. **cache_dir_to_save_hf_files** 從 Hugging face 下載模型並進行本地快取的位置 + + + + +***注意：*** + +## **如何使用模型建構器對 Phi-3.5 進行量化** + +模型建構器目前支援 Phi-3.5 Instruct 和 Phi-3.5-Vision 的 ONNX 模型量化 ### **Phi-3.5-Instruct** -**CPU 加速的 INT4 量化轉換** + +**使用 CPU 加速轉換至量化 INT4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA 加速的 INT4 量化轉換** +**使用 CUDA 加速轉換至量化 INT4** ```bash @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. 在 models 資料夾下載 microsoft/Phi-3.5-vision-instruct +2. 在 models 資料夾中下載 microsoft/Phi-3.5-vision-instruct [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. 請將以下檔案下載到你的 Phi-3.5-vision-instruct 資料夾中 +3. 請將下列檔案下載至您的 Phi-3.5-vision-instruct 資料夾 - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. 將此檔案下載到 models 資料夾 + +4. 將此檔案下載至 models 資料夾 [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. 回到終端機 +5. 進到終端機 + + 轉換 ONNX 支援 FP32 - 轉換支援 FP32 的 ONNX 模型 ```bash @@ -64,23 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **注意：** -1. Model Builder 目前支援 Phi-3.5-Instruct 和 Phi-3.5-Vision 的轉換，但不支援 Phi-3.5-MoE +1. 模型建構器目前支援 Phi-3.5-Instruct 與 Phi-3.5-Vision 的轉換，但不支援 Phi-3.5-MoE + +2. 若要使用 ONNX 的量化模型，可以透過 onnxruntime 的生成式 AI 擴展 SDK 使用 + +3. 因為我們需要更多負責任的 AI，模型量化轉換後，建議進行更有效的結果測試 -2. 若要使用 ONNX 的量化模型，可以透過 Generative AI extensions for onnxruntime SDK 使用 +4. 透過量化的 CPU INT4 模型，我們可以將它部署到 Edge 裝置，擁有更好的應用場景，因此我們已完成 Phi-3.5-Instruct 約 INT4 的量化 -3. 我們需要更負責任地使用 AI，因此模型量化轉換後，建議進行更有效的結果測試 -4. 透過量化 CPU INT4 模型，我們可以將其部署到 Edge 裝置，這樣有更好的應用場景，因此我們已完成 Phi-3.5-Instruct 的 INT4 量化 +## 資源 -## **資源** +1. 進一步了解 onnxruntime 的生成式 AI 擴展 [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. 了解更多關於 Generative AI extensions for onnxruntime -[https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntime 的生成式 AI 擴展 GitHub 倉庫 [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub 倉庫 -[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**免責聲明**： -本文件乃使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或誤釋承擔責任。 \ No newline at end of file + +**免責聲明**： +本文件由 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻譯而成。雖然我們致力於確保準確性，但請注意，機器自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議進行專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋承擔責任。 + \ No newline at end of file diff --git a/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 117104927..e7dc240d6 100644 --- a/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **OnnxRuntime GenAI Windows GPU 指南** -本指南提供在 Windows 上使用 GPU 配合 ONNX Runtime (ORT) 的設定及使用步驟，幫助你利用 GPU 加速模型運算，提升效能與效率。 +本指南提供在 Windows 上使用帶 GPU 的 ONNX Runtime (ORT) 的設置和使用步驟。旨在幫助您利用 GPU 加速您的模型，提升性能和效率。 -文件內容涵蓋： +本文件提供以下指引： -- 環境設定：安裝 CUDA、cuDNN 及 ONNX Runtime 等必要依賴的說明。 -- 配置：如何設定環境及 ONNX Runtime 以有效使用 GPU 資源。 -- 優化建議：調整 GPU 設定以達到最佳效能的技巧。 +- 環境設置：如何安裝 CUDA、cuDNN 和 ONNX Runtime 等必要依賴。 +- 配置：如何配置環境和 ONNX Runtime，有效使用 GPU 資源。 +- 優化技巧：如何微調 GPU 設置以達到最佳性能的建議。 ### **1. Python 3.10.x /3.11.8** - ***Note*** 建議使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作為你的 Python 環境 + 注意 建議使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作為您的 Python 環境 ```bash @@ -20,44 +20,48 @@ ``` - ***Reminder*** 如果你之前安裝過任何與 python ONNX 相關的套件，請先將它們移除 + 提醒 若您已安裝任何關於 python 的 ONNX 庫，請先將它們卸載 ### **2. 使用 winget 安裝 CMake** + ```bash winget install -e --id Kitware.CMake ``` -### **3. 安裝 Visual Studio 2022 - 使用 C++ 的桌面開發** +### **3. 安裝 Visual Studio 2022 - 使用 C++ 進行桌面開發** - ***Note*** 如果你不打算自行編譯，可以跳過這一步 + 注意 如果您不打算編譯，可跳過此步驟 ![CPP](../../../../../../translated_images/zh-HK/01.42f52a2b2aedff02.webp) + ### **4. 安裝 NVIDIA 驅動程式** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU 驅動程式** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** 安裝時請使用預設設定 +提醒 請使用安裝流程的預設設定 -### **5. 設定 NVIDIA 環境變數** +### **5. 設定 NVIDIA 環境** -將 NVIDIA CUDNN 9.4 的 lib、bin、include 資料夾內容複製到 NVIDIA CUDA 12.4 對應的 lib、bin、include 資料夾 +將 NVIDIA CUDNN 9.4 的 lib、bin、include 複製至 NVIDIA CUDA 12.4 的 lib、bin、include -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 內的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 內的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 內的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. 下載 Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ ### **7. 執行 InferencePhi35Instruct.ipynb** - 開啟 [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 並執行 + 開啟 [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 並執行 + ![RESULT](../../../../../../translated_images/zh-HK/02.b9b06996cf7255d5.webp) + ### **8. 編譯 ORT GenAI GPU** - ***Note*** + + 注意 - 1. 請先移除所有與 onnx、onnxruntime 及 onnxruntime-genai 相關的套件 + 1. 請先卸載所有關於 onnx、onnxruntime 和 onnxruntime-genai 的套件 + ```bash pip list ``` - 接著移除所有 onnxruntime 相關的函式庫，例如： + 接著卸載所有 onnxruntime 相關庫，例如 + ```bash @@ -100,13 +109,17 @@ ``` - 2. 檢查 Visual Studio 擴充支援 + 2. 檢查 Visual Studio 擴充支援 + + 檢查 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras，確定存在 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + 若不存在，請到其他 CUDA 工具包驅動資料夾中尋找並複製 visual_studio_integration 資料夾及內容到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + - 確認 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 目錄下有 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 資料夾。 - 若找不到，請檢查其他 CUDA 工具包資料夾，並將 visual_studio_integration 資料夾及內容複製到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration - - 如果你不打算自行編譯，可以跳過這一步 + - 如果您不打算編譯，可跳過此步驟 + ```bash @@ -116,14 +129,15 @@ - 下載 [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - 解壓 onnxruntime-win-x64-gpu-1.19.2.zip，並將資料夾重新命名為 **ort**，然後將 ort 資料夾複製到 onnxruntime-genai + - 解壓 onnxruntime-win-x64-gpu-1.19.2.zip，並將資料夾重命名為 **ort**，將 ort 資料夾複製到 onnxruntime-genai 內 - - 使用 Windows Terminal，開啟 VS 2022 的 Developer Command Prompt，並切換到 onnxruntime-genai 目錄 + - 使用 Windows Terminal，開啟 VS 2022 的開發者命令提示字元，並進入 onnxruntime-genai ![RESULT](../../../../../../translated_images/zh-HK/03.b83ce473d5ff9b9b.webp) - - 使用你的 python 環境編譯 + - 使用您的 python 環境來編譯 + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**免責聲明**： -本文件由 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或誤釋承擔責任。 \ No newline at end of file +--- + + +**免責聲明**： +本文件由 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻譯而成。雖然我們致力於確保準確性，但請注意，機器自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議進行專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋承擔責任。 + \ No newline at end of file diff --git a/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index a5beeaa29..20a73ae8a 100644 --- a/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/zh-HK/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,32 +1,32 @@ -# 使用 Windows GPU 建立基於 Phi-3.5-Instruct ONNX 的 Prompt flow 解決方案 +# 使用 Windows GPU 與 Phi-3.5-Instruct ONNX 建立 Prompt flow 解決方案 -以下文件示範如何使用 PromptFlow 搭配 ONNX（Open Neural Network Exchange）來開發基於 Phi-3 模型的 AI 應用程式。 +以下文件為如何使用 PromptFlow 與 ONNX（開放神經網絡交換）基於 Phi-3 模型開發 AI 應用程序的示例。 -PromptFlow 是一套開發工具，旨在簡化基於大型語言模型（LLM）的 AI 應用程式從構思、原型設計到測試與評估的完整開發流程。 +PromptFlow 是一套開發工具，旨在簡化基於大型語言模型（LLM）AI 應用程序的端到端開發週期，從構思、原型設計到測試和評估。 -透過將 PromptFlow 與 ONNX 整合，開發者可以： +通過將 PromptFlow 與 ONNX 集成，開發人員可以： -- 優化模型效能：利用 ONNX 進行高效的模型推論與部署。 -- 簡化開發流程：使用 PromptFlow 管理工作流程並自動化重複性任務。 -- 強化團隊協作：提供統一的開發環境，促進團隊成員間的合作。 +- 優化模型性能：利用 ONNX 進行高效的模型推理和部署。 +- 簡化開發：使用 PromptFlow 管理工作流程並自動化重複任務。 +- 增強協作：通過提供統一的開發環境促進團隊成員之間的更好協作。 -**Prompt flow** 是一套開發工具，設計用來簡化基於 LLM 的 AI 應用程式從構思、原型設計、測試、評估到生產部署與監控的完整開發週期。它讓 prompt 工程變得更簡單，並幫助你打造具備生產品質的 LLM 應用。 +**Prompt flow** 是一套開發工具，旨在簡化基於 LLM 的 AI 應用程序的端到端開發週期，涵蓋構思、原型設計、測試、評估到生產部署和監控。它讓提示工程變得更簡單，並使您能夠建立具備生產品質的 LLM 應用程序。 -Prompt flow 可連接 OpenAI、Azure OpenAI Service 以及可自訂模型（Huggingface、本地 LLM/SLM）。我們希望將 Phi-3.5 的量化 ONNX 模型部署到本地應用。Prompt flow 能協助我們更好地規劃業務，並完成基於 Phi-3.5 的本地解決方案。在此範例中，我們將結合 ONNX Runtime GenAI Library，完成基於 Windows GPU 的 Prompt flow 解決方案。 +Prompt flow 可以連接至 OpenAI、Azure OpenAI 服務及可自訂模型（Huggingface、在地 LLM/SLM）。我們希望將 Phi-3.5 的量化 ONNX 模型部署到本地應用。Prompt flow 可以幫助我們更好規劃業務，並基於 Phi-3.5 完成本地解決方案。本例中，我們將結合 ONNX Runtime GenAI 函式庫完成基於 Windows GPU 的 Prompt flow 解決方案。 -## **安裝** +## 安裝 -### **Windows GPU 版 ONNX Runtime GenAI** +### **Windows GPU 的 ONNX Runtime GenAI** -請參考此指南設定 Windows GPU 版 ONNX Runtime GenAI [點此](./ORTWindowGPUGuideline.md) +閱讀此指南以設定 Windows GPU 的 ONNX Runtime GenAI [點此](./ORTWindowGPUGuideline.md) ### **在 VSCode 中設定 Prompt flow** -1. 安裝 Prompt flow VS Code 擴充功能 +1. 安裝 Prompt flow VS Code 擴充套件 ![pfvscode](../../../../../../translated_images/zh-HK/pfvscode.eff93dfc66a42cbe.webp) -2. 安裝完 Prompt flow VS Code 擴充功能後，點選該擴充功能，選擇 **Installation dependencies**，依照指引在你的環境中安裝 Prompt flow SDK +2. 安裝 Prompt flow VS Code 擴充套件後，點擊擴充套件，並選擇 安裝依賴項，依照此指南在您的環境中安裝 Prompt flow SDK ![pfsetup](../../../../../../translated_images/zh-HK/pfsetup.b46e93096f5a254f.webp) @@ -34,25 +34,25 @@ Prompt flow 可連接 OpenAI、Azure OpenAI Service 以及可自訂模型（Hugg ![pfsample](../../../../../../translated_images/zh-HK/pfsample.8d89e70584ffe7c4.webp) -4. 開啟 **flow.dag.yaml** 選擇你的 Python 環境 +4. 開啟 **flow.dag.yaml**，選擇您的 Python 環境 ![pfdag](../../../../../../translated_images/zh-HK/pfdag.264a77f7366458ff.webp) - 開啟 **chat_phi3_ort.py** 修改你的 Phi-3.5-instruct ONNX 模型路徑 + 開啟 **chat_phi3_ort.py**，修改您的 Phi-3.5-instruct ONNX 模型位置 ![pfphi](../../../../../../translated_images/zh-HK/pfphi.72da81d74244b45f.webp) -5. 執行你的 prompt flow 進行測試 +5. 執行您的 prompt flow 進行測試 -開啟 **flow.dag.yaml**，點選視覺化編輯器 +開啟 **flow.dag.yaml** 點擊視覺化編輯器 ![pfv](../../../../../../translated_images/zh-HK/pfv.ba8a81f34b20f603.webp) -點擊後執行測試 +點擊後，執行它來測試 ![pfflow](../../../../../../translated_images/zh-HK/pfflow.4e1135a089b1ce1b.webp) -1. 你也可以在終端機批次執行以查看更多結果 +1. 您可以在終端機中批次執行以檢視更多結果 ```bash @@ -61,10 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -你可以在預設瀏覽器中查看結果 +您可以在預設瀏覽器中查看結果 ![pfresult](../../../../../../translated_images/zh-HK/pfresult.c22c826f8062d7cb.webp) -**免責聲明**： -本文件由 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或誤釋承擔責任。 \ No newline at end of file +--- + + +**免責聲明**： +本文件由 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻譯而成。雖然我們致力於確保準確性，但請注意，機器自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議進行專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋承擔責任。 + \ No newline at end of file diff --git a/translations/zh-HK/md/03.FineTuning/FineTuning_MLX.md b/translations/zh-HK/md/03.FineTuning/FineTuning_MLX.md index bed89b60c..a516acf1c 100644 --- a/translations/zh-HK/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/zh-HK/md/03.FineTuning/FineTuning_MLX.md @@ -1,14 +1,17 @@ -# **使用 Apple MLX Framework 微調 Phi-3** +# **使用 Apple MLX 框架微調 Phi-3** -我們可以透過 Apple MLX Framework 的命令行完成結合 Lora 的微調。（如果想了解更多 MLX Framework 的操作，請參考 [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)） +我們可以透過 Apple MLX 框架命令行來完成結合 Lora 的微調工作。（如果想了解更多 MLX 框架的操作，請閱讀 [使用 Apple MLX 框架推論 Phi-3](../03.FineTuning/03.Inference/MLX_Inference.md)） -## **1. 資料準備** -預設情況下，MLX Framework 需要 train、test 和 eval 的 jsonl 格式資料，並結合 Lora 來完成微調任務。 +## **1. 數據準備** -### ***注意：*** +MLX 框架預設需要 train、test 和 eval 的 jsonl 格式數據，並結合 Lora 完成微調任務。 + + +### ***注意:*** + +1. jsonl 數據格式 ： -1. jsonl 資料格式： ```json @@ -19,15 +22,17 @@ ``` -2. 我們的範例使用的是 [TruthfulQA 的資料](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但資料量相對不足，因此微調結果不一定最佳。建議學習者根據自身場景使用更合適的資料來完成微調。 +2. 我們的示例使用了 [TruthfulQA 的數據](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但數據量相對不足，因此微調結果不一定最佳。建議學習者依照自身場景使用更優質的數據完成。 + +3. 數據格式結合了 Phi-3 模板 + +請從此 [連結](../../../../code/04.Finetuning/mlx) 下載數據，請包含 ***data*** 資料夾中的所有 .jsonl -3. 資料格式需配合 Phi-3 模板 -請從此 [連結](../../../../code/04.Finetuning/mlx) 下載資料，請包含 ***data*** 資料夾內所有 .jsonl 檔案 +## **2. 在終端機執行微調** -## **2. 在終端機進行微調** +請在終端機執行此指令 -請在終端機執行以下指令 ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` -## ***注意：*** -1. 這是 LoRA 微調，MLX Framework 尚未發布 QLoRA +## ***注意:*** + +1. 這是 LoRA 微調，MLX 框架尚未發布 QLoRA + +2. 你可以設定 config.yaml 改變部分參數，例如 -2. 你可以透過設定 config.yaml 來更改部分參數，例如 ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -請在終端機執行以下指令 +請在終端機執行此指令 + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. 執行微調 adapter 進行測試** -你可以在終端機執行微調 adapter，指令如下 +## **3. 運行微調適配器測試** + +你可以在終端機運行微調適配器，類似這樣 + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -並執行原始模型來比較結果 +並運行原始模型來比較結果 + ```bash @@ -135,9 +146,11 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -你可以嘗試比較微調後與原始模型的結果差異 +你可以嘗試比較微調後與原始模型的結果 + + +## **4. 合併適配器生成新模型** -## **4. 合併 adapters 生成新模型** ```bash @@ -147,7 +160,8 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ## **5. 使用 ollama 執行量化微調模型** -使用前，請先配置你的 llama.cpp 環境 +使用前請先配置你的 llama.cpp 環境 + ```bash @@ -161,13 +175,14 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***注意：*** +***注意:*** + +1. 目前支援 fp32、fp16 和 INT 8 的量化轉換 -1. 現在支援 fp32、fp16 及 INT 8 的量化轉換 +2. 合併模型缺少 tokenizer.model，請從 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct 下載 -2. 合併後的模型缺少 tokenizer.model，請從 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct 下載 +設定一個 [Ollma 模型](https://ollama.com/) -設定一個 [Ollma Model](https://ollama.com/) ```txt @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -在終端機執行指令 +在終端機運行指令 + ```bash @@ -186,7 +202,11 @@ PARAMETER stop "<|end|>" ``` -恭喜！你已掌握使用 MLX Framework 進行微調 +恭喜！你已掌握使用 MLX 框架進行微調 + +--- -**免責聲明**： -本文件由 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或誤釋承擔責任。 \ No newline at end of file + +**免責聲明**： +本文件由 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻譯而成。雖然我們致力於確保準確性，但請注意，機器自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議進行專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋承擔責任。 + \ No newline at end of file diff --git a/translations/zh-MO/.co-op-translator.json b/translations/zh-MO/.co-op-translator.json index 31169a69a..cc80838c6 100644 --- a/translations/zh-MO/.co-op-translator.json +++ b/translations/zh-MO/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:16:11+00:00", + "translation_date": "2026-07-29T18:12:31+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "zh-MO" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:39:57+00:00", + "translation_date": "2026-07-29T18:13:10+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "zh-MO" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:57:50+00:00", + "translation_date": "2026-07-29T18:12:47+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "zh-MO" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:57:33+00:00", + "translation_date": "2026-07-29T18:12:04+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "zh-MO" }, diff --git a/translations/zh-MO/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/zh-MO/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index 99eaa9155..852080b29 100644 --- a/translations/zh-MO/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/zh-MO/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,10 +1,68 @@ -## **如何使用 Model Builder 量化 Phi-3.5** +# **使用 onnxruntime 的 Generative AI 擴展進行 Phi 家族量化** -Model Builder 現在支援 Phi-3.5 Instruct 和 Phi-3.5-Vision 的 ONNX 模型量化。 +## **什麼是 onnxruntime 的 Generative AI 擴展** + +此擴展幫助您使用 ONNX Runtime 來運行生成式 AI（[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)）。它為 ONNX 模型提供生成式 AI 循環，包括 ONNX Runtime 推理、logits 處理、搜索和採樣，以及 KV 緩存管理。開發者可以調用高階的 generate() 方法，或者在迴圈中逐次運行模型，每次生成一個 token，並且可選擇在迴圈內更新生成參數。它支持貪婪/束搜索以及 TopP、TopK 採樣來生成 token 序列，並內建如重複懲罰的 logits 處理。您也可以輕鬆新增自訂評分機制。 + +在應用層面，您可以使用 onnxruntime 的 Generative AI 擴展，利用 C++/C#/Python 构建應用程式。在模型層面，您可以用它來合併微調模型並進行相關的量化部署工作。 + + +## **使用 onnxruntime 的 Generative AI 擴展對 Phi-3.5 進行量化** + +### 支援模型 + +onnxruntime 的 Generative AI 擴展支援 Microsoft Phi、Google Gemma、Mistral、Meta LLaMA 的量化轉換。 + + +### **onnxruntime 的 Generative AI 擴展中的模型建構器** + +模型建構器大大加速了創建可用 ONNX Runtime generate() API 運行的優化與量化 ONNX 模型的過程。 + +通過模型建構器，您可以將模型量化到 INT4、INT8、FP16、FP32, 並結合 CPU、CUDA、DirectML、Mobile 等不同硬體加速方式。 + +使用模型建構器您需要安裝 + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +安裝完成後，您可以從終端運行模型建構器腳本來執行模型格式與量化轉換。 + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +了解相關參數 + +1. **model_name** 指 Hugging Face 上的模型，例如 microsoft/Phi-3.5-mini-instruct、microsoft/Phi-3.5-vision-instruct 等。也可以是您存放模型的路徑 + +2. **path_to_output_folder** 量化轉換後保存的路徑 + +3. **execution_provider** 不同硬體加速支持，如 cpu、cuda、DirectML + +4. **cache_dir_to_save_hf_files** 我們會從 Hugging Face 下載模型並本地緩存 + + + + +***注意：*** + +## **如何使用模型建構器量化 Phi-3.5** + +模型建構器目前支持 Phi-3.5 Instruct 與 Phi-3.5-Vision 的 ONNX 模型量化。 ### **Phi-3.5-Instruct** -**CPU 加速的 INT4 量化轉換** + +**CPU 加速轉換量化 INT 4** + ```bash @@ -12,7 +70,7 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` -**CUDA 加速的 INT4 量化轉換** +**CUDA 加速轉換量化 INT 4** ```bash @@ -20,17 +78,20 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** -1. 在終端機設定環境 +1. 在終端設置環境 ```bash @@ -40,10 +101,10 @@ cd models ``` -2. 在 models 資料夾下載 microsoft/Phi-3.5-vision-instruct +2. 下載 microsoft/Phi-3.5-vision-instruct 至 models 文件夾 [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. 請將以下檔案下載到你的 Phi-3.5-vision-instruct 資料夾中 +3. 請將以下檔案下載到您的 Phi-3.5-vision-instruct 文件夾 - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. 將此檔案下載到 models 資料夾 + +4. 下載此檔案到 models 文件夾 [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. 回到終端機 +5. 進入終端 + + 轉換支持 FP32 的 ONNX - 轉換支援 FP32 的 ONNX 模型 ```bash @@ -64,23 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **注意：** -1. Model Builder 目前支援 Phi-3.5-Instruct 和 Phi-3.5-Vision 的轉換，但不支援 Phi-3.5-MoE +1. 模型建構器目前支援 Phi-3.5-Instruct 與 Phi-3.5-Vision 的轉換，但不支援 Phi-3.5-MoE + +2. 使用 ONNX 量化模型，可以透過 onnxruntime 的 Generative AI 擴展 SDK 來使用 + +3. 我們需要更多負責任的 AI，因此模型量化轉換後，建議進行更有效的結果測試 -2. 若要使用 ONNX 的量化模型，可以透過 Generative AI extensions for onnxruntime SDK 使用 +4. 透過量化 CPU INT4 模型，我們可以部署到邊緣設備，擁有更好的應用場景，因此我們已完成 Phi-3.5-Instruct 約 INT 4 的部分 -3. 我們需要更負責任的 AI，因此在模型量化轉換後，建議進行更有效的結果測試 -4. 透過量化 CPU INT4 模型，我們可以將其部署到 Edge 裝置，這樣有更好的應用場景，因此我們已完成 Phi-3.5-Instruct 的 INT4 量化 +## 資源 -## **資源** +1. 了解更多 onnxruntime 的 Generative AI 擴展 [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. 了解更多關於 Generative AI extensions for onnxruntime -[https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntime 的 Generative AI 擴展 GitHub 倉庫 [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub 倉庫 -[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋承擔責任。 \ No newline at end of file + +**免責聲明**： +本文件使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們力求準確，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議尋求專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或曲解承擔責任。 + \ No newline at end of file diff --git a/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index d1c34401f..b6342d155 100644 --- a/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **OnnxRuntime GenAI Windows GPU 指南** -本指南提供在 Windows 上使用 GPU 設置和運行 ONNX Runtime (ORT) 的步驟，幫助您利用 GPU 加速模型運算，提升效能與效率。 +本指南提供了在 Windows 平台上使用 GPU 設定與使用 ONNX Runtime (ORT) 的步驟。旨在幫助您利用 GPU 加速模型，提高效能與效率。 -本文涵蓋內容包括： +本文件涵蓋指引包括： -- 環境設置：安裝 CUDA、cuDNN 及 ONNX Runtime 等必要依賴的說明。 -- 配置：如何設定環境與 ONNX Runtime 以有效使用 GPU 資源。 -- 優化建議：調整 GPU 設定以達到最佳效能的技巧。 +- 環境設定：安裝必要依賴如 CUDA、cuDNN 及 ONNX Runtime 的說明。 +- 配置：如何有效配置環境與 ONNX Runtime 以利用 GPU 資源。 +- 優化建議：有關調整 GPU 設定以達最佳效能的建議。 ### **1. Python 3.10.x /3.11.8** - ***Note*** 建議使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作為您的 Python 環境 + 注意 建議使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作為您的 Python 環境 ```bash @@ -20,10 +20,11 @@ ``` - ***Reminder*** 如果您已安裝任何與 python ONNX 相關的庫，請先卸載 + 提醒 如果您安裝過任何關於 python ONNX 的套件，請先將其卸載 ### **2. 使用 winget 安裝 CMake** + ```bash winget install -e --id Kitware.CMake @@ -32,32 +33,35 @@ ### **3. 安裝 Visual Studio 2022 - 使用 C++ 的桌面開發** - ***Note*** 如果不打算自行編譯，可以跳過此步驟 + 注意 若不需自行編譯可跳過此步驟 ![CPP](../../../../../../translated_images/zh-MO/01.42f52a2b2aedff02.webp) + ### **4. 安裝 NVIDIA 驅動程式** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +1. **NVIDIA GPU 驅動程式** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** 請使用預設安裝流程與設定 +提醒 請使用預設設定進行安裝流程 -### **5. 設定 NVIDIA 環境變數** +### **5. 設定 NVIDIA 環境** -將 NVIDIA CUDNN 9.4 的 lib、bin、include 資料夾內容複製到 NVIDIA CUDA 12.4 對應的 lib、bin、include 資料夾中 +將 NVIDIA CUDNN 9.4 的 lib、bin、include 複製到 NVIDIA CUDA 12.4 的相對應目錄 -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- 複製 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 目錄內的檔案至 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- 複製 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 目錄內的檔案至 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* + +- 複製 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 目錄內的檔案至 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. 下載 Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,15 +76,18 @@ ### **7. 執行 InferencePhi35Instruct.ipynb** - 開啟 [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 並執行 + 開啟 [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 並執行 + ![RESULT](../../../../../../translated_images/zh-MO/02.b9b06996cf7255d5.webp) + ### **8. 編譯 ORT GenAI GPU** - ***Note*** + + 注意 - 1. 請先卸載所有與 onnx、onnxruntime 及 onnxruntime-genai 相關的套件 + 1. 請先卸載所有關於 onnx、onnxruntime 及 onnxruntime-genai 的套件 ```bash @@ -89,7 +96,8 @@ ``` - 接著卸載所有 onnxruntime 相關的函式庫，例如： + 接著卸載所有 onnxruntime 套件，例如 + ```bash @@ -101,13 +109,17 @@ ``` - 2. 檢查 Visual Studio 擴充功能支援 + 2. 檢查 Visual Studio 擴充功能支援 + + 檢查 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras，確認存在 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + 若未找到，檢查其他 Cuda Toolkit 驅動程式資料夾並將 visual_studio_integration 資料夾及內容複製到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + - 確認 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 目錄下有 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 資料夾。 - 若找不到，請檢查其他 CUDA 工具包驅動資料夾，並將 visual_studio_integration 資料夾及其內容複製到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + - 若不需要編譯，此步驟可跳過 - - 如果不打算自行編譯，可以跳過此步驟 ```bash @@ -119,11 +131,11 @@ - 解壓 onnxruntime-win-x64-gpu-1.19.2.zip，並將資料夾重新命名為 **ort**，將 ort 資料夾複製到 onnxruntime-genai - - 使用 Windows Terminal，開啟 VS 2022 的 Developer Command Prompt，並切換到 onnxruntime-genai 目錄 + - 使用 Windows Terminal，開啟 VS 2022 的開發人員命令提示字元，並切換到 onnxruntime-genai 資料夾 ![RESULT](../../../../../../translated_images/zh-MO/03.b83ce473d5ff9b9b.webp) - - 使用您的 python 環境編譯 + - 以您的 python 環境進行編譯 ```bash @@ -139,5 +151,9 @@ ``` -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋負責。 \ No newline at end of file +--- + + +**免責聲明**： +本文件使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們力求準確，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議尋求專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或曲解承擔責任。 + \ No newline at end of file diff --git a/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index 2bfa9e546..362784cc5 100644 --- a/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/zh-MO/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,58 @@ -# 使用 Windows GPU 建立基於 Phi-3.5-Instruct ONNX 的 Prompt flow 解決方案 +# 使用 Windows GPU 建立 Phi-3.5-Instruct ONNX 的 Prompt flow 解決方案 -以下文件示範如何使用 PromptFlow 搭配 ONNX（Open Neural Network Exchange）來開發基於 Phi-3 模型的 AI 應用程式。 +以下文件示範如何使用 PromptFlow 搭配 ONNX (Open Neural Network Exchange) 來開發基於 Phi-3 模型的 AI 應用。 -PromptFlow 是一套開發工具，旨在簡化基於 LLM（大型語言模型）的 AI 應用程式從構思、原型設計到測試與評估的完整開發流程。 +PromptFlow 是一套開發工具，旨在簡化基於大語言模型 (LLM) 的 AI 應用從構思、原型設計到測試和評估的端到端開發週期。 -透過整合 PromptFlow 與 ONNX，開發者可以： +透過整合 PromptFlow 與 ONNX，開發人員可以： -- 優化模型效能：利用 ONNX 進行高效的模型推論與部署。 -- 簡化開發流程：使用 PromptFlow 管理工作流程並自動化重複性任務。 -- 強化團隊協作：提供統一的開發環境，促進團隊成員間的合作。 +- 優化模型性能：利用 ONNX 進行高效的模型推理與部署。 +- 簡化開發：使用 PromptFlow 管理工作流程並自動化重複性任務。 +- 增進協作：提供統一開發環境，促進團隊成員間更好的協作。 -**Prompt flow** 是一套開發工具，設計用來簡化基於 LLM 的 AI 應用程式從構思、原型設計、測試、評估到生產部署與監控的完整開發週期。它讓 prompt 工程變得更加輕鬆，並幫助你打造具備生產品質的 LLM 應用。 +**Prompt flow** 是一套開發工具，設計用於簡化基於 LLM 的 AI 應用的端到端開發週期，涵蓋構思、原型、測試、評估到生產部署及監控。它使提示工程變得更加容易，並使你能夠建立具有生產品質的 LLM 應用。 -Prompt flow 可連接 OpenAI、Azure OpenAI Service 以及可自訂的模型（Huggingface、本地 LLM/SLM）。我們希望將 Phi-3.5 的量化 ONNX 模型部署到本地應用。Prompt flow 能協助我們更好地規劃業務，並完成基於 Phi-3.5 的本地解決方案。在此範例中，我們將結合 ONNX Runtime GenAI Library，完成基於 Windows GPU 的 Prompt flow 解決方案。 +Prompt flow 可連接到 OpenAI、Azure OpenAI 服務以及可客製化模型（Huggingface、本地 LLM/SLM）。我們希望將 Phi-3.5 的量化 ONNX 模型部署到本地應用。Prompt flow 能幫助我們更好地規劃業務並完成基於 Phi-3.5 的本地解決方案。在此示例中，我們將結合 ONNX Runtime GenAI 庫完成基於 Windows GPU 的 Prompt flow 解決方案。 -## **安裝** +## 安裝 -### **Windows GPU 版 ONNX Runtime GenAI** +### **適用於 Windows GPU 的 ONNX Runtime GenAI** -請參考此指南設定 Windows GPU 版 ONNX Runtime GenAI [點此查看](./ORTWindowGPUGuideline.md) +閱讀此指引以設置 Windows GPU 版的 ONNX Runtime GenAI [點擊此處](./ORTWindowGPUGuideline.md) -### **在 VSCode 中設定 Prompt flow** +### **在 VSCode 中設置 Prompt flow** 1. 安裝 Prompt flow VS Code 擴充功能 ![pfvscode](../../../../../../translated_images/zh-MO/pfvscode.eff93dfc66a42cbe.webp) -2. 安裝完 Prompt flow VS Code 擴充功能後，點選該擴充功能，選擇 **Installation dependencies**，依照指引在你的環境中安裝 Prompt flow SDK +2. 安裝 Prompt flow VS Code 擴充功能後，點擊該擴充功能，選擇 安裝依賴項，並按照指引在您的環境中安裝 Prompt flow SDK ![pfsetup](../../../../../../translated_images/zh-MO/pfsetup.b46e93096f5a254f.webp) -3. 下載 [範例程式碼](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf)，並使用 VS Code 開啟此範例 +3. 下載 [範例代碼](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) 並使用 VS Code 打開此範例 ![pfsample](../../../../../../translated_images/zh-MO/pfsample.8d89e70584ffe7c4.webp) -4. 開啟 **flow.dag.yaml** 選擇你的 Python 環境 +4. 打開 **flow.dag.yaml**，選擇您的 Python 環境 ![pfdag](../../../../../../translated_images/zh-MO/pfdag.264a77f7366458ff.webp) - 開啟 **chat_phi3_ort.py** 修改你的 Phi-3.5-instruct ONNX 模型路徑 + 打開 **chat_phi3_ort.py** 修改您的 Phi-3.5-instruct ONNX 模型路徑 ![pfphi](../../../../../../translated_images/zh-MO/pfphi.72da81d74244b45f.webp) -5. 執行你的 prompt flow 進行測試 +5. 執行您的 prompt flow 進行測試 -開啟 **flow.dag.yaml**，點選視覺化編輯器 +打開 **flow.dag.yaml** 點擊視覺化編輯器 ![pfv](../../../../../../translated_images/zh-MO/pfv.ba8a81f34b20f603.webp) -點擊後執行測試 +點擊後執行並測試 ![pfflow](../../../../../../translated_images/zh-MO/pfflow.4e1135a089b1ce1b.webp) -1. 你也可以在終端機批次執行以查看更多結果 +1. 你可以在終端執行批次以查看更多結果 ```bash @@ -66,5 +66,9 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ![pfresult](../../../../../../translated_images/zh-MO/pfresult.c22c826f8062d7cb.webp) -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋承擔責任。 \ No newline at end of file +--- + + +**免責聲明**： +本文件使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們力求準確，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議尋求專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或曲解承擔責任。 + \ No newline at end of file diff --git a/translations/zh-MO/md/03.FineTuning/FineTuning_MLX.md b/translations/zh-MO/md/03.FineTuning/FineTuning_MLX.md index faceec41c..ba9a61b5a 100644 --- a/translations/zh-MO/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/zh-MO/md/03.FineTuning/FineTuning_MLX.md @@ -1,14 +1,17 @@ # **使用 Apple MLX Framework 微調 Phi-3** -我們可以透過 Apple MLX Framework 的命令列完成結合 Lora 的微調。（如果想了解更多 MLX Framework 的操作，請參考 [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)） +我們可以通過 Apple MLX Framework 的命令行完成結合 Lora 的微調工作。（如果您想了解更多關於 MLX Framework 的操作，請閱讀 [使用 Apple MLX Framework 進行 Phi-3 推論](../03.FineTuning/03.Inference/MLX_Inference.md)） -## **1. 資料準備** -預設情況下，MLX Framework 需要 train、test 和 eval 的 jsonl 格式資料，並結合 Lora 來完成微調任務。 +## **1. 數據準備** -### ***Note:*** +MLX Framework 預設需要 train、test 及 eval 的 jsonl 格式數據，並結合 Lora 完成微調任務。 + + +### ***注意：*** + +1. jsonl 數據格式 ： -1. jsonl 資料格式： ```json @@ -19,15 +22,17 @@ ``` -2. 我們的範例使用的是 [TruthfulQA 的資料](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但資料量相對不足，因此微調結果不一定最佳。建議學習者根據自身場景使用更合適的資料來完成微調。 +2. 我們的範例使用 [TruthfulQA 的數據](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但數據量相對不足，因此微調結果未必最佳。建議學習者依據自身場景使用更合適的數據完成微調。 + +3. 數據格式結合 Phi-3 模板 + +請從此 [連結](../../../../code/04.Finetuning/mlx) 下載數據，請確保 ***data*** 資料夾裡包含所有 .jsonl 檔案 -3. 資料格式需配合 Phi-3 模板 -請從此 [連結](../../../../code/04.Finetuning/mlx) 下載資料，請包含 ***data*** 資料夾內所有 .jsonl 檔案 +## **2. 在終端執行微調** -## **2. 在終端機進行微調** +請在終端執行此命令 -請在終端機執行以下指令 ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` -## ***Note:*** + +## ***注意：*** 1. 這是 LoRA 微調，MLX Framework 尚未發布 QLoRA -2. 你可以透過設定 config.yaml 來更改部分參數，例如 +2. 您可以透過 config.yaml 設定來更改部分參數，例如 + ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -請在終端機執行以下指令 +請在終端執行此命令 + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. 執行微調 adapter 進行測試** -你可以在終端機執行微調 adapter，指令如下 +## **3. 運行微調適配器進行測試** + +您可以在終端運行微調適配器，如此 + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -並執行原始模型來比較結果 +並運行原始模型進行結果比較 + ```bash @@ -135,9 +146,11 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -你可以嘗試比較微調後與原始模型的結果差異 +您可以嘗試比較微調後的結果與原始模型 + + +## **4. 合併適配器生成新模型** -## **4. 合併 adapters 生成新模型** ```bash @@ -145,9 +158,10 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ``` -## **5. 使用 ollama 執行量化微調模型** +## **5. 使用 ollama 運行量化微調模型** + +使用前，請配置您的 llama.cpp 環境 -使用前，請先配置你的 llama.cpp 環境 ```bash @@ -161,13 +175,14 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***Note:*** +***注意：*** + +1. 現在支持 fp32、fp16 及 INT 8 的量化轉換 -1. 現在支援 fp32、fp16 及 INT 8 的量化轉換 +2. 合併的模型缺少 tokenizer.model，請從 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct 下載 -2. 合併後的模型缺少 tokenizer.model，請從 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct 下載 +設置一個 [Ollma 模型](https://ollama.com/) -設定一個 [Ollma Model](https://ollama.com/) ```txt @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -在終端機執行指令 +在終端運行命令 + ```bash @@ -186,7 +202,11 @@ PARAMETER stop "<|end|>" ``` -恭喜！你已掌握使用 MLX Framework 進行微調 +恭喜！掌握使用 MLX Framework 進行微調 + +--- -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋負責。 \ No newline at end of file + +**免責聲明**： +本文件使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們力求準確，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要資訊，建議尋求專業人工翻譯。我們不對因使用本翻譯而引起的任何誤解或曲解承擔責任。 + \ No newline at end of file diff --git a/translations/zh-TW/.co-op-translator.json b/translations/zh-TW/.co-op-translator.json index b82f2c0ba..3a191e726 100644 --- a/translations/zh-TW/.co-op-translator.json +++ b/translations/zh-TW/.co-op-translator.json @@ -301,7 +301,7 @@ }, "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md": { "original_hash": "3bb9f5c926673593287eddc3741226cb", - "translation_date": "2025-07-16T22:16:47+00:00", + "translation_date": "2026-07-29T18:15:03+00:00", "source_file": "md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md", "language_code": "zh-TW" }, @@ -331,7 +331,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md": { "original_hash": "651a6c85c349581d566b086f3e325424", - "translation_date": "2026-03-29T14:00:13+00:00", + "translation_date": "2026-07-29T18:18:24+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md", "language_code": "zh-TW" }, @@ -361,7 +361,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md": { "original_hash": "b066fc29c1b2129df84e027cb75119ce", - "translation_date": "2025-07-17T02:40:24+00:00", + "translation_date": "2026-07-29T18:19:09+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md", "language_code": "zh-TW" }, @@ -373,7 +373,7 @@ }, "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md": { "original_hash": "92e7dac1e5af0dd7c94170fdaf6860fe", - "translation_date": "2025-07-17T02:58:08+00:00", + "translation_date": "2026-07-29T18:15:20+00:00", "source_file": "md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md", "language_code": "zh-TW" }, @@ -577,7 +577,7 @@ }, "md/03.FineTuning/FineTuning_MLX.md": { "original_hash": "2b94610e2f6fe648e01fa23626f0dd03", - "translation_date": "2025-07-17T07:57:52+00:00", + "translation_date": "2026-07-29T18:14:36+00:00", "source_file": "md/03.FineTuning/FineTuning_MLX.md", "language_code": "zh-TW" }, diff --git a/translations/zh-TW/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md b/translations/zh-TW/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md index d1abffac2..5651948f4 100644 --- a/translations/zh-TW/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md +++ b/translations/zh-TW/md/01.Introduction/04/UsingORTGenAIQuantifyingPhi.md @@ -1,11 +1,69 @@ -## **如何使用 Model Builder 量化 Phi-3.5** +# **使用 onnxruntime 的生成式 AI 擴充功能進行 Phi 系列量化** -Model Builder 現在支援 Phi-3.5 Instruct 和 Phi-3.5-Vision 的 ONNX 模型量化。 +## **什麼是 onnxruntime 的生成式 AI 擴充功能** + +此擴充功能可幫助您使用 ONNX Runtime 運行生成式 AI（[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai)）。它為 ONNX 模型提供生成式 AI 迴圈，包括使用 ONNX Runtime 進行推斷、logits 處理、搜尋與采樣以及 KV 緩存管理。開發者可呼叫高階的 generate() 方法，或在迴圈中逐次執行模型，每次生成一個 token，並可選擇在迴圈內更新生成參數。支持貪心/束搜索和 TopP、TopK 采樣生成 token 序列，還內建了如重複懲罰的 logits 處理。您也能輕鬆添加自訂評分。 + +在應用層級，您可以使用 onnxruntime 的生成式 AI 擴充功能，採用 C++ / C# / Python 建立應用程式。在模型層級，您可以用它來合併微調模型並進行相關量化部署工作。 + + +## **使用 onnxruntime 的生成式 AI 擴充功能對 Phi-3.5 量化** + +### 支持的模型 + +onnxruntime 的生成式 AI 擴充功能支持 Microsoft Phi、Google Gemma、Mistral、Meta LLaMA 的量化轉換。 + + +### **onnxruntime 生成式 AI 擴充功能中的模型建立工具** + +模型建立工具大幅加速建立經過優化且量化的 ONNX 模型，這些模型可搭配 ONNX Runtime 的 generate() API 執行。 + +透過模型建立工具，您可以將模型量化為 INT4、INT8、FP16、FP32，並結合不同硬體加速方式如 CPU、CUDA、DirectML、Mobile 等。 + +使用模型建立工具前，您需要安裝 + +```bash + +pip install torch transformers onnx onnxruntime + +pip install --pre onnxruntime-genai + +``` + +安裝後，您可以從終端機執行模型建立工具腳本，進行模型格式與量化轉換。 + + +```bash + +python3 -m onnxruntime_genai.models.builder -m model_name -o path_to_output_folder -p precision -e execution_provider -c cache_dir_to_save_hf_files + +``` + +了解相關參數 + +1. **model_name** 這是 Hugging Face 上的模型，例如 microsoft/Phi-3.5-mini-instruct、microsoft/Phi-3.5-vision-instruct 等。也可以是您儲存模型的路徑 + +2. **path_to_output_folder** 量化轉換的儲存路徑 + +3. **execution_provider** 不同的硬體加速支持，如 cpu、cuda、DirectML + +4. **cache_dir_to_save_hf_files** 我們從 Hugging Face 下載模型並在本地快取 + + + + +***注意：*** + +## **如何使用模型建立工具量化 Phi-3.5** + +模型建立工具目前支持 Phi-3.5 Instruct 和 Phi-3.5-Vision 的 ONNX 模型量化 ### **Phi-3.5-Instruct** + **CPU 加速的 INT4 量化轉換** + ```bash python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cpu -c ./Phi-3.5-mini-instruct @@ -20,12 +78,15 @@ python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct ``` + + ```python python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct ``` + ### **Phi-3.5-Vision** **Phi-3.5-vision-instruct-onnx-cpu-fp32** @@ -40,10 +101,10 @@ cd models ``` -2. 在 models 資料夾下載 microsoft/Phi-3.5-vision-instruct +2. 在 models 資料夾下載 microsoft/Phi-3.5-vision-instruct [https://huggingface.co/microsoft/Phi-3.5-vision-instruct](https://huggingface.co/microsoft/Phi-3.5-vision-instruct) -3. 請將以下檔案下載到你的 Phi-3.5-vision-instruct 資料夾 +3. 請將這些檔案下載到您的 Phi-3.5-vision-instruct 資料夾 - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/resolve/main/onnx/config.json) @@ -51,12 +112,14 @@ cd models - [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/modeling_phi3_v.py) -4. 將此檔案下載到 models 資料夾 + +4. 將此檔案下載到 models 資料夾 [https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py](https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py) -5. 回到終端機 +5. 切換到終端機 + + 轉換支援 FP32 的 ONNX - 轉換支援 FP32 的 ONNX 模型 ```bash @@ -64,23 +127,27 @@ python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p ``` + ### **注意：** -1. Model Builder 目前支援 Phi-3.5-Instruct 和 Phi-3.5-Vision 的轉換，但不支援 Phi-3.5-MoE +1. 模型建立工具目前支援 Phi-3.5-Instruct 和 Phi-3.5-Vision 的轉換，但不支援 Phi-3.5-MoE + +2. 若要使用 ONNX 的量化模型，可透過 onnxruntime 的生成式 AI 擴充功能 SDK 使用 + +3. 我們需要更謹慎考慮負責任的 AI，因此量化轉換後，建議做更有效的結果測試 -2. 若要使用 ONNX 的量化模型，可以透過 Generative AI extensions for onnxruntime SDK 使用 +4. 透過量化 CPU INT4 模型，能部署到 Edge 裝置，擁有更好的應用場景，因此我們已完成 Phi-3.5-Instruct 的 INT4 量化 -3. 我們需要更負責任的 AI，因此在模型量化轉換後，建議進行更有效的結果測試 -4. 透過量化 CPU INT4 模型，我們可以將其部署到 Edge 裝置，這樣有更好的應用場景，因此我們已完成 Phi-3.5-Instruct 的 INT4 量化 +## 資源 -## **資源** +1. 瞭解更多 onnxruntime 的生成式 AI 擴充功能 [https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) -1. 了解更多關於 Generative AI extensions for onnxruntime -[https://onnxruntime.ai/docs/genai/](https://onnxruntime.ai/docs/genai/) +2. onnxruntime 的生成式 AI 擴充功能 GitHub 倉庫 [https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) -2. Generative AI extensions for onnxruntime GitHub 倉庫 -[https://github.com/microsoft/onnxruntime-genai](https://github.com/microsoft/onnxruntime-genai) +--- -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保翻譯的準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋負責。 \ No newline at end of file + +**免責聲明**： +此文件已使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們努力追求準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於關鍵資訊，建議採用專業人工翻譯。我們不對因使用此翻譯所產生的任何誤解或誤譯承擔責任。 + \ No newline at end of file diff --git a/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md b/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md index 87f7d16eb..1369f57d0 100644 --- a/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md +++ b/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/E2E_Phi-3-Evaluation_AIFoundry.md @@ -1,24 +1,24 @@ -# 在 Microsoft Foundry 中評估微調後的 Phi-3 / Phi-3.5 模型，聚焦於微軟的負責任 AI 原則 +# 在 Microsoft Foundry 評估微調後的 Phi-3 / Phi-3.5 模型，重點落在微軟的負責任 AI 原則 -此端對端（E2E）範例基於 Microsoft 技術社群的指南「[Evaluate Fine-tuned Phi-3 / 3.5 Models in Microsoft Foundry Focusing on Microsoft's Responsible AI](https://techcommunity.microsoft.com/blog/educatordeveloperblog/evaluate-fine-tuned-phi-3--3-5-models-in-azure-ai-studio-focusing-on-microsofts-/4227850?WT.mc_id=aiml-137032-kinfeylo)」。 +此端對端 (E2E) 範例基於 Microsoft Tech Community 的指南「[在 Microsoft Foundry 中評估微調後的 Phi-3 / 3.5 模型，聚焦於微軟的負責任 AI](https://techcommunity.microsoft.com/blog/educatordeveloperblog/evaluate-fine-tuned-phi-3--3-5-models-in-azure-ai-studio-focusing-on-microsofts-/4227850?WT.mc_id=aiml-137032-kinfeylo)」。 ## 概述 -### 如何在 Microsoft Foundry 中評估微調後的 Phi-3 / Phi-3.5 模型的安全性與效能？ +### 如何在 Microsoft Foundry 評估微調後的 Phi-3 / Phi-3.5 模型的安全性和效能？ -微調模型有時可能導致意外或不期望的回應。為確保模型保持安全且有效，重要的是評估模型產生有害內容的潛力及產生準確、相關且連貫回應的能力。在本教學中，您將學習如何評估整合於 Microsoft Foundry 中 Prompt flow 的微調 Phi-3 / Phi-3.5 模型的安全性與效能。 +模型微調有時可能導致非預期或不理想的回應。為確保模型保持安全且有效，評估模型產生有害內容的潛力以及生成準確、相關且連貫回應的能力非常重要。本教學將教你如何評估在 Microsoft Foundry 中結合 Prompt flow 的微調 Phi-3 / Phi-3.5 模型的安全性與效能。 以下為 Microsoft Foundry 的評估流程。 -![Architecture of tutorial.](../../../../../../translated_images/zh-TW/architecture.10bec55250f5d6a4.webp) +![教學架構圖。](../../../../../../translated_images/zh-TW/architecture.10bec55250f5d6a4.webp) -*圖片來源：[Evaluation of generative AI applications](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* +*圖片來源：[生成式 AI 應用評估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* > [!NOTE] > -> 欲了解關於 Phi-3 / Phi-3.5 更深入的資訊並探索更多資源，請造訪 [Phi-3CookBook](https://github.com/microsoft/Phi-3CookBook?wt.mc_id=studentamb_279723)。 +> 若想獲得更詳細資訊及探索關於 Phi-3 / Phi-3.5 的更多資源，請造訪 [Phi-3CookBook](https://github.com/microsoft/Phi-3CookBook?wt.mc_id=studentamb_279723)。 -### 前置條件 +### 預備知識 - [Python](https://www.python.org/downloads) - [Azure 訂閱](https://azure.microsoft.com/free?wt.mc_id=studentamb_279723) @@ -30,86 +30,161 @@ 1. [**情境 1：Microsoft Foundry 的 Prompt flow 評估介紹**](#scenario-1-introduction-to-azure-ai-studios-prompt-flow-evaluation) - [安全性評估介紹](#安全性評估介紹) - - [效能評估介紹](#為微調過的-phi-3-phi-35-模型新增自訂連線) + - [效能評估介紹](#效能評估介紹) 1. [**情境 2：在 Microsoft Foundry 評估 Phi-3 / Phi-3.5 模型**](#scenario-2-evaluating-the-phi-3--phi-35-model-in-azure-ai-studio) - - [開始之前](#建立-prompt-flow) + - [開始之前](#開始之前) - [部署 Azure OpenAI 以評估 Phi-3 / Phi-3.5 模型](#deploy-azure-openai-to-evaluate-the-phi-3--phi-35-model) - [使用 Microsoft Foundry 的 Prompt flow 評估微調後的 Phi-3 / Phi-3.5 模型](#evaluate-the-fine-tuned-phi-3--phi-35-model-using-azure-ai-studios-prompt-flow-evaluation) -1. [恭喜！](#congratulations) +1. [恭喜你！](#恭喜！) ## **情境 1：Microsoft Foundry 的 Prompt flow 評估介紹** ### 安全性評估介紹 -為確保您的 AI 模型合乎道德且安全，評估模型是否符合微軟負責任 AI 原則至關重要。在 Microsoft Foundry 中，安全性評估允許您評估模型面臨越獄攻擊的脆弱性及產生有害內容的潛力，這與原則直接契合。 +為確保你的 AI 模型具備倫理性與安全性，評估該模型是否符合微軟的負責任 AI 原則是關鍵。在 Microsoft Foundry 中，安全性評估能讓你檢視模型對破解攻擊的脆弱性以及產生有害內容的潛力，這與這些原則直接相符。 -![Safaty evaluation.](../../../../../../translated_images/zh-TW/safety-evaluation.083586ec88dfa950.webp) +![安全性評估。](../../../../../../translated_images/zh-TW/safety-evaluation.083586ec88dfa950.webp) -*圖片來源：[Evaluation of generative AI applications](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* +*圖片來源：[生成式 AI 應用評估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* -#### 微軟負責任 AI 原則 +#### 微軟的負責任 AI 原則 -在開始技術步驟之前，理解微軟的負責任 AI 原則非常重要。該倫理框架旨在指導 AI 系統的負責任開發、部署與運作。這些原則為 AI 系統的設計、開發和部署提供指引，確保 AI 技術的建構公正、透明且具包容性。這些原則為評估 AI 模型安全性的基礎。 +在開始技術步驟之前，理解微軟的負責任 AI 原則非常重要，這是一套指導 AI 系統負責任開發、部署和運作的倫理框架。這些原則指引 AI 系統的負責任設計、開發和部署，確保 AI 技術以公平、透明及包容的方式建立。這些原則是評估 AI 模型安全性的基礎。 -微軟負責任 AI 原則包括： +微軟的負責任 AI 原則包括： -- 公平性與包容性：AI 系統應公平對待每個人，避免對相似處境群體產生不同影響。例如，當 AI 系統提供醫療治療建議、貸款申請或就業指導時，對具有相似症狀、經濟狀況或專業資格的人應提供相同建議。 +- 公平性與包容性：AI 系統應公平對待所有人，並避免對處境相似的人群採取不同方式的影響。例如，當 AI 系統提供醫療治療、貸款申請或就業建議時，應對所有具備相似症狀、財務狀況或專業資格的人給出相同建議。 -- 可靠性與安全性：為建立信任，AI 系統必須可靠、安全且一致地運作。此類系統應能依照設計運作，安全回應不可預期狀況，且抵抗有害操作。其行為及可處理的條件反映開發者在設計與測試時所預見的情境範圍。 +- 可靠性與安全性：為建立信任，AI 系統必須可靠、安全且持續一致地運作。這些系統應能依設計運作，對預期之外的狀況以安全方式反應，並能抵抗有害的操控。其行為與可處理的狀況範圍反映出開發者於設計與測試階段預期的各種情境。 -- 透明性：當 AI 系統協助做出對人生命產生巨大影響的決策時，理解決策過程至關重要。例如，銀行可能使用 AI 系統判斷個人是否具信用資格，公司可能使用 AI 系統篩選最合格候選人。 +- 透明性：當 AI 系統協助作出對人民生活有深遠影響的決策時，讓人理解決策過程相當重要。例如，銀行可能使用 AI 系統判斷個人是否具有信用；公司可能用 AI 系統篩選最合適的應徵者人選。 -- 隱私與安全：隨著 AI 越來越普及，保護隱私及個人與企業資訊安全變得更重要且複雜。因為 AI 系統必須存取資料來提供準確且有依據的預測與決策，隱私與資料安全需嚴密關注。 +- 隱私與安全：隨著 AI 普及，保護隱私與個人及企業資訊安全變得越來越重要且複雜。對於 AI 來說，隱私與資料安全需特別注意，因為 AI 系統需接觸資料才能做出精確且有根據的預測與決策。 + +- 問責制：設計與部署 AI 系統的人必須對系統運作負責。組織應依產業標準建立問責規範。此規範可確保 AI 系統不成為決定人民生活重要事項的最終權威，也確保人在高度自主的 AI 系統中維持實質的控制權。 + +![完整示意圖。](../../../../../../translated_images/zh-TW/responsibleai2.c07ef430113fad8c.webp) + +*圖片來源：[什麼是負責任 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2&viewFallbackFrom=azureml-api-2%253fwt.mc_id%3Dstudentamb_279723)* + +> [!NOTE] +> 想了解更多微軟的負責任 AI 原則，請造訪 [什麼是負責任 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2?wt.mc_id=studentamb_279723)。 + +#### 安全性指標 + +在此教學中，你將使用 Microsoft Foundry 的安全性指標來評估微調後的 Phi-3 模型的安全性。這些指標可幫助評估模型產生有害內容的潛力以及其對破解攻擊的脆弱性。安全性指標包括： + +- 與自我傷害相關的內容：評估模型是否傾向生成與自我傷害相關的內容。 +- 仇恨與不公平內容：評估模型是否傾向生成仇恨或不公平的內容。 +- 暴力內容：評估模型是否傾向生成暴力內容。 +- 性暗示內容：評估模型是否傾向生成不當的性暗示內容。 + +評估這些方面可確保 AI 模型不會產生有害或冒犯的內容，使其符合社會價值觀與監管標準。 + +![基於安全性的評估。](../../../../../../translated_images/zh-TW/evaluate-based-on-safety.c5df819f5b0bfc07.webp) + +### 效能評估介紹 + +為確保你的 AI 模型達到預期效能，重要的是對其效能進行評估。在 Microsoft Foundry 中，效能評估讓你檢視模型在生成準確、相關且連貫的回應方面的有效性。 + +![效能評估。](../../../../../../translated_images/zh-TW/performance-evaluation.48b3e7e01a098740.webp) + +*圖片來源：[生成式 AI 應用評估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723)* + +#### 效能指標 + +在此教學中，你將使用 Microsoft Foundry 的效能指標評估微調後的 Phi-3 / Phi-3.5 模型的效能。這些指標幫助你評估模型在生成準確、相關且連貫回應方面的有效性。效能指標包括： + +- 基於事實性：評估生成的答案與輸入資訊的一致性程度。 +- 相關性：評估生成回應與給定問題的相關程度。 +- 連貫性：評估生成文字的流暢度、自然性及類人語言的程度。 +- 流暢度：評估生成文字的語言熟練度。 +- **GPT 相似度**：比較生成回應與真實答案的相似性。 +- **F1 分數**：計算生成回應與來源資料間共享詞彙的比例。 + +這些指標幫助評估模型在產出準確、相關且連貫回應方面的效能。 + +![基於效能的評估。](../../../../../../translated_images/zh-TW/evaluate-based-on-performance.3e801c647c7554e8.webp) + +## **情境 2：在 Microsoft Foundry 評估 Phi-3 / Phi-3.5 模型** + +### 開始之前 + +本教學接續之前的部落格文章「[微調並結合客製化 Phi-3 模型與 Prompt Flow：逐步指南](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow/ba-p/4178612?wt.mc_id=studentamb_279723)」及「[在 Microsoft Foundry 中微調並結合客製化 Phi-3 模型與 Prompt Flow](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow-in/ba-p/4191726?wt.mc_id=studentamb_279723)」。在這些文章中，我們說明如何在 Microsoft Foundry 中微調 Phi-3 / Phi-3.5 模型並與 Prompt flow 整合。 + +本教學將帶你部署 Azure OpenAI 模型作為評估者，並用其評估你微調後的 Phi-3 / Phi-3.5 模型。 + +開始本教學前，請確認你擁有先前教學中所述的以下前置條件： + +1. 用於評估微調後 Phi-3 / Phi-3.5 模型的準備好資料集。 +1. 已微調並部署到 Azure 機器學習的 Phi-3 / Phi-3.5 模型。 +1. 在 Microsoft Foundry 中與微調後 Phi-3 / Phi-3.5 模型整合的 Prompt flow。 + +> [!NOTE] +> 你將使用先前部落格文章下載的 **ULTRACHAT_200k** 資料夾中名為 *test_data.jsonl* 的檔案，作為評估微調後 Phi-3 / Phi-3.5 模型的資料集。 + +#### 在 Microsoft Foundry 中將自訂 Phi-3 / Phi-3.5 模型整合到 Prompt flow（以程式碼優先的方法） + +> [!NOTE] +> 如果你採用了「[在 Microsoft Foundry 中微調並結合客製化 Phi-3 模型與 Prompt Flow](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow-in/ba-p/4191726?wt.mc_id=studentamb_279723)」中描述的低程式碼方式，可以跳過此練習，直接進入下一部分。 +> 不過，若你依照「[微調並結合客製化 Phi-3 模型與 Prompt Flow：逐步指南](https://techcommunity.microsoft.com/t5/educator-developer-blog/fine-tune-and-integrate-custom-phi-3-models-with-prompt-flow/ba-p/4178612?wt.mc_id=studentamb_279723)」中程式碼優先的方法進行微調與部署，連接模型與 Prompt flow 的流程會略有不同。你將在本練習中學習此流程。 + +要繼續，需將微調後的 Phi-3 / Phi-3.5 模型整合進 Microsoft Foundry 中的 Prompt flow。 + +#### 建立 Microsoft Foundry Hub + +你需要先建立 Hub 才能建立專案。Hub 類似於資源群組，讓你在 Microsoft Foundry 中組織與管理多個專案。 1. 登入 [Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 -1. 從左側索引標籤選擇 所有中樞。 +1. 從左側面板選擇 **所有 Hub**。 -1. 從導覽選單選擇 **+ 新增中樞**。 +1. 從導覽選單選擇 **+ 新增 Hub**。 - ![建立中樞。](../../../../../../translated_images/zh-TW/create-hub.5be78fb1e21ffbf1.webp) + ![建立 Hub。](../../../../../../translated_images/zh-TW/create-hub.5be78fb1e21ffbf1.webp) -1. 執行下列工作： +1. 執行以下動作： - - 輸入 中樞名稱。此名稱必須唯一。 - - 選擇您的 Azure 訂閱。 - - 選擇要使用的 資源群組（如果需要，請新增一個）。 - - 選擇您想使用的 位置。 - - 選擇要使用的 **連接 Azure AI 服務**（如果需要，請新增一個）。 - - 選擇 **連接 Azure AI 搜尋** 並選擇 略過連接。 + - 輸入 **Hub 名稱**，此名稱必須唯一。 + - 選擇你的 Azure 訂閱。 - ![填寫中樞。](../../../../../../translated_images/zh-TW/fill-hub.baaa108495c71e34.webp) + - 選擇要使用的 資源群組（如有需要，請建立新的資源群組）。 + - 選擇您想使用的 區域。 + - 選擇要使用的 **連線 Azure AI 服務**（如有需要，請建立新的連線）。 + - 選擇 **連線 Azure AI 搜尋** 並選擇 跳過連線。 + + ![填寫中心。](../../../../../../translated_images/zh-TW/fill-hub.baaa108495c71e34.webp) 1. 選擇 下一步。 #### 建立 Microsoft Foundry 專案 -1. 在您建立的中樞中，從左側索引標籤選擇 所有專案。 +1. 在您建立的中心中，從左側選單選擇 所有專案。 -1. 從導覽選單選擇 **+ 新增專案**。 +1. 從導航選單中選擇 **+ 新增專案**。 ![選擇新專案。](../../../../../../translated_images/zh-TW/select-new-project.cd31c0404088d7a3.webp) -1. 輸入 專案名稱。此名稱必須唯一。 +1. 輸入 專案名稱。此名稱必須是唯一的。 ![建立專案。](../../../../../../translated_images/zh-TW/create-project.ca3b71298b90e420.webp) 1. 選擇 建立專案。 -#### 為微調過的 Phi-3 / Phi-3.5 模型新增自訂連線 +#### 為微調的 Phi-3 / Phi-3.5 模型新增自訂連線 -要將您的自訂 Phi-3 / Phi-3.5 模型整合到 Prompt flow，您需要將模型的端點與金鑰儲存在自訂連線中。此設定將確保在 Prompt flow 中可以存取您的自訂 Phi-3 / Phi-3.5 模型。 +要將您的自訂 Phi-3 / Phi-3.5 模型整合到 Prompt flow 中，您需要將模型的端點和金鑰儲存在自訂連線中。此設定確保可以在 Prompt flow 中存取您的自訂 Phi-3 / Phi-3.5 模型。 -#### 設定微調過的 Phi-3 / Phi-3.5 模型的 API 金鑰與端點 URI +#### 設定微調的 Phi-3 / Phi-3.5 模型的 API 金鑰與端點 URI 1. 訪問 [Azure ML Studio](https://ml.azure.com/home?wt.mc_id=studentamb_279723)。 1. 導覽至您建立的 Azure 機器學習工作區。 -1. 從左側索引標籤選擇 端點。 +1. 從左側標籤中選擇 端點。 ![選擇端點。](../../../../../../translated_images/zh-TW/select-endpoints.ee7387ecd68bd18d.webp) @@ -117,9 +192,9 @@ ![選擇已建立的端點。](../../../../../../translated_images/zh-TW/select-endpoint-created.9f63af5e4cf98b2e.webp) -1. 從導覽選單選擇 使用。 +1. 從導航選單中選擇 使用。 -1. 複製您的 **REST 端點** 和 主要金鑰。 +1. 複製您的 **REST 端點** 及 主要金鑰。 ![複製 API 金鑰與端點 URI。](../../../../../../translated_images/zh-TW/copy-endpoint-key.0650c3786bd646ab.webp) @@ -127,25 +202,25 @@ 1. 訪問 [Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 -1. 導覽至您建立的 Microsoft Foundry 專案。 +1. 導覽到您建立的 Microsoft Foundry 專案。 -1. 在您建立的專案中，從左側索引標籤選擇 設定。 +1. 在您建立的專案中，從左側標籤選擇 設定。 1. 選擇 **+ 新增連線**。 - ![選擇新增連線。](../../../../../../translated_images/zh-TW/select-new-connection.fa0f35743758a74b.webp) + ![選擇新連線。](../../../../../../translated_images/zh-TW/select-new-connection.fa0f35743758a74b.webp) -1. 從導覽選單選擇 自訂金鑰。 +1. 從導航選單中選擇 自訂金鑰。 ![選擇自訂金鑰。](../../../../../../translated_images/zh-TW/select-custom-keys.5a3c6b25580a9b67.webp) -1. 執行下列工作： +1. 執行以下步驟： - - 選擇 **+ 新增金鑰數值對**。 - - 於金鑰名稱輸入 **endpoint**，並將您從 Azure ML Studio 複製的端點貼上至數值欄位。 - - 再次選擇 **+ 新增金鑰數值對**。 - - 於金鑰名稱輸入 **key**，並將您從 Azure ML Studio 複製的金鑰貼上至數值欄位。 - - 新增金鑰後，勾選 為密碼，以防止金鑰被揭露。 + - 選擇 **+ 新增鍵值對**。 + - 鍵名輸入 **endpoint**，並在值欄位貼上您從 Azure ML Studio 複製的端點。 + - 再次選擇 **+ 新增鍵值對**。 + - 鍵名輸入 **key**，並在值欄位貼上您從 Azure ML Studio 複製的金鑰。 + - 新增完鍵值後，選擇 是機密，以防止金鑰被揭露。 ![新增連線。](../../../../../../translated_images/zh-TW/add-connection.ac7f5faf8b10b0df.webp) @@ -153,17 +228,17 @@ #### 建立 Prompt flow -您已在 Microsoft Foundry 新增了自訂連線。接著，使用以下步驟建立一個 Prompt flow。然後，您將把此 Prompt flow 連結到自訂連線，以便在 Prompt flow 中使用微調模型。 +您已在 Microsoft Foundry 新增自訂連線。接下來，讓我們依照以下步驟建立 Prompt flow。然後您將會把此 Prompt flow 連接到自訂連線，以在 Prompt flow 中使用微調模型。 1. 導覽至您建立的 Microsoft Foundry 專案。 -1. 從左側索引標籤選擇 **Prompt flow**。 +1. 從左側標籤選擇 **Prompt flow**。 -1. 從導覽選單選擇 **+ 建立**。 +1. 從導航選單中選擇 **+ 建立**。 ![選擇 Promptflow。](../../../../../../translated_images/zh-TW/select-promptflow.18ff2e61ab9173eb.webp) -1. 從導覽選單選擇 聊天流程。 +1. 從導航選單選擇 聊天流程。 ![選擇聊天流程。](../../../../../../translated_images/zh-TW/select-flow-type.28375125ec9996d3.webp) @@ -175,13 +250,13 @@ #### 設定 Prompt flow 與您的自訂 Phi-3 / Phi-3.5 模型聊天 -您需要將微調過的 Phi-3 / Phi-3.5 模型整合到 Prompt flow 中。然而，目前提供的 Prompt flow 並非為此目的設計，因此您必須重新設計 Prompt flow，使其能夠整合自訂模型。 +您需要將微調的 Phi-3 / Phi-3.5 模型整合到 Prompt flow 中。但現有提供的 Prompt flow 並非為此目的設計，因此您必須重新設計 Prompt flow，使其能與自訂模型整合。 -1. 在 Prompt flow 中，執行下列工作來重建現有流程： +1. 在 Prompt flow 中，執行以下步驟重建現有流程： - - 選擇 原始檔案模式。 - - 刪除 *flow.dag.yml* 檔案中所有現有程式碼。 - - 將以下程式碼加入 *flow.dag.yml*。 + - 選擇 原始檔模式。 + - 刪除 *flow.dag.yml* 檔案中的所有現有程式碼。 + - 將以下程式碼新增至 *flow.dag.yml*。 ```yml inputs: @@ -206,9 +281,9 @@ - 選擇 儲存。 - ![選擇原始檔案模式。](../../../../../../translated_images/zh-TW/select-raw-file-mode.06c1eca581ce4f53.webp) + ![選擇原始檔模式。](../../../../../../translated_images/zh-TW/select-raw-file-mode.06c1eca581ce4f53.webp) -1. 將以下程式碼加入 *integrate_with_promptflow.py* 中，以便在 Prompt flow 使用自訂的 Phi-3 / Phi-3.5 模型。 +1. 將下列程式碼新增至 *integrate_with_promptflow.py*，以在 Prompt flow 使用自訂的 Phi-3 / Phi-3.5 模型。 ```python import logging @@ -216,7 +291,7 @@ from promptflow import tool from promptflow.connections import CustomConnection - # 日誌設定 + # 日誌設置 logging.basicConfig( format="%(asctime)s - %(levelname)s - %(name)s - %(message)s", datefmt="%Y-%m-%d %H:%M:%S", @@ -229,7 +304,7 @@ Send a request to the Phi-3 / Phi-3.5 model endpoint with the given input data using Custom Connection. """ - # 「connection」是自訂連線的名稱，「endpoint」、「key」是自訂連線中的鍵 + # "connection" 是自訂連線的名稱，"endpoint" 和 "key" 是自訂連線中的鍵 endpoint_url = connection.endpoint api_key = connection.key @@ -269,35 +344,35 @@ ``` - ![貼上 prompt flow 程式碼。](../../../../../../translated_images/zh-TW/paste-promptflow-code.cd6d95b101c0ec28.webp) + ![貼上 Prompt flow 程式碼。](../../../../../../translated_images/zh-TW/paste-promptflow-code.cd6d95b101c0ec28.webp) > [!NOTE] -> 有關在 Microsoft Foundry 中使用 Prompt flow 的更多詳細資訊，您可以參考 [Microsoft Foundry 中的 Prompt flow](https://learn.microsoft.com/azure/ai-studio/how-to/prompt-flow)。 +> 關於在 Microsoft Foundry 中使用 Prompt flow 的更詳細資訊，請參閱 [Microsoft Foundry 中的 Prompt flow](https://learn.microsoft.com/azure/ai-studio/how-to/prompt-flow)。 -1. 選擇 聊天輸入、聊天輸出 以啟用與模型的聊天。 +1. 選擇 聊天輸入、聊天輸出 以啟用與您的模型聊天功能。 ![選擇輸入輸出。](../../../../../../translated_images/zh-TW/select-input-output.c187fc58f25fbfc3.webp) -1. 現在，您已準備好與您的自訂 Phi-3 / Phi-3.5 模型聊天。下一個練習中，您將學習如何啟動 Prompt flow 並使用它與您的微調 Phi-3 / Phi-3.5 模型聊天。 +1. 現在您已準備與您的自訂 Phi-3 / Phi-3.5 模型聊天。在接下來的練習中，您將學習如何啟動 Prompt flow 並使用它與您的微調 Phi-3 / Phi-3.5 模型聊天。 > [!NOTE] > -> 重新建構的流程應該看起來如以下圖片所示： +> 重建的流程應該如下圖所示： > > ![流程範例](../../../../../../translated_images/zh-TW/graph-example.82fd1bcdd3fc545b.webp) > #### 啟動 Prompt flow -1. 選擇 啟動計算階段 以啟動 Prompt flow。 +1. 選擇 開始計算工作階段 以啟動 Prompt flow。 - ![啟動計算階段。](../../../../../../translated_images/zh-TW/start-compute-session.9acd8cbbd2c43df1.webp) + ![開始計算工作階段。](../../../../../../translated_images/zh-TW/start-compute-session.9acd8cbbd2c43df1.webp) 1. 選擇 驗證並解析輸入 以更新參數。 ![驗證輸入。](../../../../../../translated_images/zh-TW/validate-input.c1adb9543c6495be.webp) -1. 選擇 連線 的 值，連到您建立的自訂連線。範例：*connection*。 +1. 選擇 連線 的 值，即您建立的自訂連線。例如，*connection*。 ![連線。](../../../../../../translated_images/zh-TW/select-connection.1f2b59222bcaafef.webp) @@ -307,13 +382,13 @@ ![選擇聊天。](../../../../../../translated_images/zh-TW/select-chat.0406bd9687d0c49d.webp) -1. 以下是結果範例：現在您可以與您的自訂 Phi-3 / Phi-3.5 模型聊天。建議您根據用於微調的資料提出問題。 +1. 以下是結果範例：現在您可以與您的自訂 Phi-3 / Phi-3.5 模型聊天。建議根據用於微調的資料提問。 - ![與 prompt flow 聊天。](../../../../../../translated_images/zh-TW/chat-with-promptflow.1cf8cea112359ada.webp) + ![與 Prompt flow 聊天。](../../../../../../translated_images/zh-TW/chat-with-promptflow.1cf8cea112359ada.webp) -### 部署 Azure OpenAI 以評估 Phi-3 / Phi-3.5 模型 +### 部署 Azure OpenAI 評估 Phi-3 / Phi-3.5 模型 -要在 Microsoft Foundry 中評估 Phi-3 / Phi-3.5 模型，您需要部署一個 Azure OpenAI 模型。此模型將用於評估 Phi-3 / Phi-3.5 模型的表現。 +若要在 Microsoft Foundry 中評估 Phi-3 / Phi-3.5 模型，您需要部署 Azure OpenAI 模型。此模型將用來評估 Phi-3 / Phi-3.5 模型的效能。 #### 部署 Azure OpenAI @@ -323,9 +398,9 @@ ![選擇專案。](../../../../../../translated_images/zh-TW/select-project-created.5221e0e403e2c9d6.webp) -1. 在您建立的專案中，從左側索引標籤選擇 部署。 +1. 在您建立的專案中，從左側標籤選擇 部署。 -1. 從導覽選單選擇 **+ 部署模型**。 +1. 從導航選單中選擇 **+ 部署模型**。 1. 選擇 部署基礎模型。 @@ -333,13 +408,13 @@ 1. 選擇您想使用的 Azure OpenAI 模型。例如，**gpt-4o**。 - ![選擇您想使用的 Azure OpenAI 模型。](../../../../../../translated_images/zh-TW/select-openai-model.959496d7e311546d.webp) + ![選擇要使用的 Azure OpenAI 模型。](../../../../../../translated_images/zh-TW/select-openai-model.959496d7e311546d.webp) 1. 選擇 確認。 -### 使用 Microsoft Foundry 的 Prompt flow 評估微調過的 Phi-3 / Phi-3.5 模型 +### 使用 Microsoft Foundry 的 Prompt flow 評估微調的 Phi-3 / Phi-3.5 模型 -### 啟動新評估 +### 開始新評估 1. 訪問 [Microsoft Foundry](https://ai.azure.com/?wt.mc_id=studentamb_279723)。 @@ -347,9 +422,9 @@ ![選擇專案。](../../../../../../translated_images/zh-TW/select-project-created.5221e0e403e2c9d6.webp) -1. 在您建立的專案中，從左側索引標籤選擇 評估。 +1. 在您建立的專案中，從左側標籤選擇 評估。 -1. 從導覽選單選擇 **+ 新增評估**。 +1. 從導航選單中選擇 **+ 新增評估**。 ![選擇評估。](../../../../../../translated_images/zh-TW/select-evaluation.2846ad7aaaca7f4f.webp) @@ -357,90 +432,92 @@ ![選擇 Prompt flow 評估。](../../../../../../translated_images/zh-TW/promptflow-evaluation.cb9758cc19b4760f.webp) -1. 執行下列工作： +1. 執行以下步驟： - - 輸入評估名稱。必須是唯一值。 - - 選擇任務類型為 無上下文問答，因為本教學中使用的 **ULTRACHAT_200k** 資料集不包含上下文。 + - 輸入評估名稱。此名稱必須是唯一的。 + - 選擇任務類型為 無上下文的問答。因為本教學使用的 **ULTRACHAT_200k** 資料集不包含上下文。 - 選擇您想要評估的 Prompt flow。 - ![Prompt flow 評估設定。](../../../../../../translated_images/zh-TW/evaluation-setting1.4aa08259ff7a536e.webp) + ![Prompt flow 評估。](../../../../../../translated_images/zh-TW/evaluation-setting1.4aa08259ff7a536e.webp) 1. 選擇 下一步。 -1. 執行下列工作： +1. 執行以下步驟： - - 選擇 新增您的資料集 上傳資料集。例如，您可以上傳 **ULTRACHAT_200k** 資料集下載包內的測試資料集檔案，如 *test_data.json1*。 - - 選擇符合您資料集的 資料集欄位。例如，若您使用的是 **ULTRACHAT_200k** 資料集，則選擇 **${data.prompt}** 作為資料集欄位。 + - 選擇 新增您的資料集 以上傳資料集。例如，您可以上傳測試資料集檔案，如 *test_data.json1*，此檔案包含在您下載的 **ULTRACHAT_200k** 資料集中。 + - 選擇符合您資料集的適當 資料集欄位。例如，若您使用 **ULTRACHAT_200k** 資料集，請選擇 **${data.prompt}** 作為資料集欄位。 - ![Prompt flow 評估設定。](../../../../../../translated_images/zh-TW/evaluation-setting2.07036831ba58d64e.webp) + ![Prompt flow 評估。](../../../../../../translated_images/zh-TW/evaluation-setting2.07036831ba58d64e.webp) 1. 選擇 下一步。 -1. 執行下列工作來配置績效與品質指標： +1. 執行以下步驟設定效能與品質指標： - - 選擇您想使用的績效與品質指標。 + - 選擇您想使用的效能與品質指標。 - 選擇您建立用於評估的 Azure OpenAI 模型。例如，選擇 **gpt-4o**。 - ![Prompt flow 評估設定。](../../../../../../translated_images/zh-TW/evaluation-setting3-1.d1ae69e3bf80914e.webp) + ![Prompt flow 評估。](../../../../../../translated_images/zh-TW/evaluation-setting3-1.d1ae69e3bf80914e.webp) -1. 執行下列工作來配置風險與安全指標： +1. 執行以下步驟設定風險與安全指標： - - 選擇您要使用的風險與安全指標。 - - 選擇計算缺陷率所使用的閾值，例如選擇 中等。 - - 對於 **question**，將 資料來源 設為 **{$data.prompt}**。 - - 對於 **answer**，將 資料來源 設為 **{$run.outputs.answer}**。 - - 對於 **ground_truth**，將 資料來源 設為 **{$data.message}**。 + - 選擇您想使用的風險與安全指標。 + - 選擇計算缺陷率所用的閾值。例如，選擇 中等。 + - 對於 問題，將 資料來源 設為 **{$data.prompt}**。 + - 對於 答案，將 資料來源 設為 **{$run.outputs.answer}**。 + - 對於 正確答案，將 資料來源 設為 **{$data.message}**。 - ![Prompt flow 評估設定。](../../../../../../translated_images/zh-TW/evaluation-setting3-2.d53bd075c60a45a2.webp) + ![Prompt flow 評估。](../../../../../../translated_images/zh-TW/evaluation-setting3-2.d53bd075c60a45a2.webp) 1. 選擇 下一步。 -1. 選擇 送出 以開始評估。 +1. 選擇 提交 以啟動評估。 -1. 評估將花一些時間完成。您可以在 評估 索引標籤監控進度。 +1. 評估將花費一些時間完成。您可以在 評估 標籤中監控進度。 ### 檢視評估結果 > [!NOTE] -> 以下呈現的結果是為了示範評估過程。在本教學中，我們使用相對較小資料集微調的模型，這可能導致結果不理想。實際結果將根據資料集的大小、品質、多樣性以及模型的具體配置有顯著差異。 +> 以下呈現的結果旨在說明評估流程。在本教學中，我們使用的模型是基於相對較小的資料集進行微調，可能導致次佳結果。實際結果將依據資料集的大小、品質、多樣性以及模型的具體設定而有大幅差異。 + +評估完成後，您可以檢視效能和安全指標的結果。 -完成評估後，您可以檢視績效與安全指標的評估結果。 1. 效能與品質指標： - - 評估模型生成連貫、流暢且相關回應的效果。 + - 評估模型產生連貫、流暢且相關回應的能力。 - ![Evaluation result.](../../../../../../translated_images/zh-TW/evaluation-result-gpu.85f48b42dfb74254.webp) + ![評估結果。](../../../../../../translated_images/zh-TW/evaluation-result-gpu.85f48b42dfb74254.webp) 1. 風險與安全指標： - - 確保模型輸出安全且符合負責任 AI 原則，避免任何有害或冒犯性內容。 + - 確保模型輸出是安全的，並符合負責任 AI 原則，避免任何有害或冒犯性內容。 - ![Evaluation result.](../../../../../../translated_images/zh-TW/evaluation-result-gpu-2.1b74e336118f4fd0.webp) + ![評估結果。](../../../../../../translated_images/zh-TW/evaluation-result-gpu-2.1b74e336118f4fd0.webp) -1. 你可以向下捲動查看詳細指標結果。 +1. 您可以向下捲動查看 詳細指標結果。 - ![Evaluation result.](../../../../../../translated_images/zh-TW/detailed-metrics-result.afa2f5c39a4f5f17.webp) + ![評估結果。](../../../../../../translated_images/zh-TW/detailed-metrics-result.afa2f5c39a4f5f17.webp) -1. 透過對自訂 Phi-3 / Phi-3.5 模型評估效能與安全指標，你可以確認模型不僅有效，且遵循負責任 AI 實踐，準備好進行實際部署。 +1. 透過評估您的自訂 Phi-3 / Phi-3.5 模型在效能與安全指標上的表現，您可以確認該模型不僅有效，還符合負責任 AI 操作，準備好進行實際部署。 ## 恭喜！ -### 你已完成本教學 +### 您已完成本教程 + -你已成功評估在 Microsoft Foundry 中整合 Prompt flow 的微調 Phi-3 模型。這是確保你的 AI 模型不僅具有良好表現，且遵守 Microsoft 的負責任 AI 原則，協助你打造值得信賴且可靠的 AI 應用程式的重要步驟。 +您已成功評估整合於 Microsoft Foundry 之 Prompt flow 的微調 Phi-3 模型。這是確保您的 AI 模型不僅表現優異，同時遵守微軟的負責任 AI 原則，幫助您構建值得信賴且可靠的 AI 應用程式的重要步驟。 ![Architecture.](../../../../../../translated_images/zh-TW/architecture.10bec55250f5d6a4.webp) ## 清理 Azure 資源 -請清理你的 Azure 資源以避免產生額外費用。前往 Azure 入口網站刪除以下資源： +請清理您的 Azure 資源以避免產生額外帳單。前往 Azure 入口網站並刪除以下資源： - Azure 機器學習資源。 - Azure 機器學習模型端點。 - Microsoft Foundry 專案資源。 - Microsoft Foundry Prompt flow 資源。 -### 下一步 +### 後續步驟 #### 文件 @@ -451,18 +528,18 @@ #### 訓練內容 -- [Microsoft 負責任 AI 方法介紹](https://learn.microsoft.com/training/modules/introduction-to-microsofts-responsible-ai-approach/?source=recommendations?wt.mc_id=studentamb_279723) -- [Microsoft Foundry 入門](https://learn.microsoft.com/training/modules/introduction-to-azure-ai-studio/?wt.mc_id=studentamb_279723) +- [微軟負責任 AI 方法簡介](https://learn.microsoft.com/training/modules/introduction-to-microsofts-responsible-ai-approach/?source=recommendations?wt.mc_id=studentamb_279723) +- [Microsoft Foundry 簡介](https://learn.microsoft.com/training/modules/introduction-to-azure-ai-studio/?wt.mc_id=studentamb_279723) ### 參考資料 -- [什麼是負責任 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2?wt.mc_id=studentamb_279723) -- [宣布 Azure AI 新工具，助你打造更安全且值得信賴的生成式 AI 應用程式](https://azure.microsoft.com/blog/announcing-new-tools-in-azure-ai-to-help-you-build-more-secure-and-trustworthy-generative-ai-applications/?wt.mc_id=studentamb_279723) -- [生成式 AI 應用程式的評估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723) +- [什麼是負責任的 AI？](https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai?view=azureml-api-2?wt.mc_id=studentamb_279723) +- [宣佈 Azure AI 新工具，助您打造更安全且值得信賴的生成式 AI 應用](https://azure.microsoft.com/blog/announcing-new-tools-in-azure-ai-to-help-you-build-more-secure-and-trustworthy-generative-ai-applications/?wt.mc_id=studentamb_279723) +- [生成式 AI 應用的評估](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-approach-gen-ai?wt.mc_id%3Dstudentamb_279723) --- -**免责声明**： -本文件使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威資料。對於重要資訊，建議使用專業人工翻譯。我們不對因使用本翻譯所產生的任何誤解或誤譯負責。 +**免責聲明**： +此文件已使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們努力追求準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於關鍵資訊，建議採用專業人工翻譯。我們不對因使用此翻譯所產生的任何誤解或誤譯承擔責任。 \ No newline at end of file diff --git a/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md b/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md index 27b0cda8a..9bdadb106 100644 --- a/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md +++ b/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/ORTWindowGPUGuideline.md @@ -1,16 +1,16 @@ # **OnnxRuntime GenAI Windows GPU 指南** -本指南提供在 Windows 上使用 GPU 設定及運行 ONNX Runtime (ORT) 的步驟，幫助您利用 GPU 加速模型運算，提升效能與效率。 +本指南提供在 Windows 上使用帶有 GPU 的 ONNX Runtime (ORT) 的設置和使用步驟。旨在幫助您利用 GPU 加速模型，提升效能與效率。 -本文涵蓋內容： +文件指導內容包括： -- 環境設定：安裝 CUDA、cuDNN 及 ONNX Runtime 等必要依賴的說明。 -- 配置：如何設定環境與 ONNX Runtime 以有效使用 GPU 資源。 -- 優化建議：調整 GPU 設定以達到最佳效能的技巧。 +- 環境設置：安裝 CUDA、cuDNN 及 ONNX Runtime 等必要依賴的說明。 +- 配置：如何配置環境與 ONNX Runtime 以有效利用 GPU 資源。 +- 優化建議：如何微調 GPU 設定以獲得最佳效能的建議。 ### **1. Python 3.10.x /3.11.8** - ***Note*** 建議使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作為您的 Python 環境 + 注意 建議使用 [miniforge](https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Windows-x86_64.exe) 作為您的 Python 環境 ```bash @@ -20,44 +20,48 @@ ``` - ***Reminder*** 如果您已安裝任何與 python ONNX 相關的套件，請先將其移除 + 提醒 如果安裝過任何 python ONNX 函式庫，請先卸載 ### **2. 使用 winget 安裝 CMake** + ```bash winget install -e --id Kitware.CMake ``` -### **3. 安裝 Visual Studio 2022 - 使用 C++ 的桌面開發** +### **3. 安裝 Visual Studio 2022 - C++ 桌面開發** - ***Note*** 如果不打算自行編譯，可以跳過此步驟 + 注意 如果不需要編譯，可以跳過此步驟 ![CPP](../../../../../../translated_images/zh-TW/01.42f52a2b2aedff02.webp) -### **4. 安裝 NVIDIA 驅動程式** -1. **NVIDIA GPU Driver** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) +### **4. 安裝 NVIDIA 驅動程序** + +1. **NVIDIA GPU 驅動程序** [https://www.nvidia.com/en-us/drivers/](https://www.nvidia.com/en-us/drivers/) 2. **NVIDIA CUDA 12.4** [https://developer.nvidia.com/cuda-12-4-0-download-archive](https://developer.nvidia.com/cuda-12-4-0-download-archive) 3. **NVIDIA CUDNN 9.4** [https://developer.nvidia.com/cudnn-downloads](https://developer.nvidia.com/cudnn-downloads) -***Reminder*** 請使用預設安裝設定完成安裝流程 +提醒 請使用安裝流程中的預設設定 -### **5. 設定 NVIDIA 環境變數** +### **5. 設置 NVIDIA 環境變數** -將 NVIDIA CUDNN 9.4 的 lib、bin、include 資料夾內容複製到 NVIDIA CUDA 12.4 對應的 lib、bin、include 資料夾 +將 NVIDIA CUDNN 9.4 的 lib、bin、include 複製到 NVIDIA CUDA 12.4 的 lib、bin、include 目錄 -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 內的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin'* +- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\bin\12.6'* 下的文件複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin* -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 內的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include'* +- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\include\12.6'* 下的文件複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include* + +- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 下的文件複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* -- 將 *'C:\Program Files\NVIDIA\CUDNN\v9.4\lib\12.6'* 內的檔案複製到 *'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\lib\x64'* ### **6. 下載 Phi-3.5-mini-instruct-onnx** + ```bash winget install -e --id Git.Git @@ -72,23 +76,28 @@ ### **7. 執行 InferencePhi35Instruct.ipynb** - 開啟 [Notebook](../../../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 並執行 + 開啟 [Notebook](../../../../code/09.UpdateSamples/Aug/ortgpu-phi35-instruct.ipynb) 並執行 + ![RESULT](../../../../../../translated_images/zh-TW/02.b9b06996cf7255d5.webp) + ### **8. 編譯 ORT GenAI GPU** - ***Note*** + + 注意 - 1. 請先移除所有 onnx、onnxruntime 及 onnxruntime-genai 相關套件 + 1. 請先卸載所有跟 onnx、onnxruntime 及 onnxruntime-genai 有關的套件 + ```bash pip list ``` - 接著移除所有 onnxruntime 相關函式庫，例如： + 之後卸載所有 onnxruntime 函式庫，例如 + ```bash @@ -100,13 +109,17 @@ ``` - 2. 檢查 Visual Studio 擴充支援 + 2. 檢查 Visual Studio 擴充支援 + + 確認 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 目錄下存在 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + + 若未找到，請檢查其他 Cuda 工具包驅動資料夾，將 visual_studio_integration 資料夾及內容複製到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration + - 確認 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras 目錄下有 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration 資料夾。 - 若找不到，請檢查其他 CUDA 工具包驅動資料夾，並將 visual_studio_integration 資料夾及內容複製到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration - - 如果不打算自行編譯，可以跳過此步驟 + - 如果不想編譯，可以跳過此步驟 + ```bash @@ -116,14 +129,15 @@ - 下載 [https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip](https://github.com/microsoft/onnxruntime/releases/download/v1.19.2/onnxruntime-win-x64-gpu-1.19.2.zip) - - 解壓 onnxruntime-win-x64-gpu-1.19.2.zip，並將資料夾重新命名為 **ort**，將 ort 資料夾複製到 onnxruntime-genai + - 解壓 onnxruntime-win-x64-gpu-1.19.2.zip，並將資料夾重命名為 **ort** ，將 ort 資料夾複製到 onnxruntime-genai - - 使用 Windows Terminal，開啟 VS 2022 的 Developer Command Prompt，切換到 onnxruntime-genai 目錄 + - 使用 Windows Terminal，切換至 VS 2022 的 Developer Command Prompt，並進入 onnxruntime-genai 目錄 ![RESULT](../../../../../../translated_images/zh-TW/03.b83ce473d5ff9b9b.webp) - 使用您的 python 環境編譯 + ```bash cd onnxruntime-genai @@ -137,5 +151,9 @@ ``` -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保翻譯的準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋負責。 \ No newline at end of file +--- + + +**免責聲明**： +此文件已使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們努力追求準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於關鍵資訊，建議採用專業人工翻譯。我們不對因使用此翻譯所產生的任何誤解或誤譯承擔責任。 + \ No newline at end of file diff --git a/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md b/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md index dadfbd9c4..d8018c858 100644 --- a/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md +++ b/translations/zh-TW/md/02.Application/01.TextAndChat/Phi3/UsingPromptFlowWithONNX.md @@ -1,58 +1,59 @@ -# 使用 Windows GPU 建立 Phi-3.5-Instruct ONNX 的 Prompt flow 解決方案 +# 使用 Windows GPU 與 Phi-3.5-Instruct ONNX 建立 Prompt flow 解決方案 -以下文件示範如何使用 PromptFlow 搭配 ONNX（Open Neural Network Exchange）來開發基於 Phi-3 模型的 AI 應用程式。 +以下文件示範如何使用 PromptFlow 結合 ONNX（Open Neural Network Exchange）來開發基於 Phi-3 模型的 AI 應用程式。 -PromptFlow 是一套開發工具，旨在簡化基於大型語言模型（LLM）的 AI 應用程式從構思、原型設計到測試與評估的完整開發流程。 +PromptFlow 是一套開發工具，旨在簡化基於大型語言模型（LLM）的 AI 應用程式從構思、原型製作到測試與評估的端到端開發週期。 -透過整合 PromptFlow 與 ONNX，開發者可以： +透過結合 PromptFlow 與 ONNX，開發人員可以： -- 優化模型效能：利用 ONNX 進行高效的模型推論與部署。 +- 優化模型效能：利用 ONNX 進行高效的模型推論和部署。 - 簡化開發流程：使用 PromptFlow 管理工作流程並自動化重複性任務。 -- 強化團隊協作：提供統一的開發環境，促進團隊成員間的合作。 +- 強化團隊協作：提供統一的開發環境以促進團隊成員間更好的協作。 -**Prompt flow** 是一套開發工具，設計用來簡化基於 LLM 的 AI 應用程式從構思、原型設計、測試、評估到生產部署與監控的完整開發週期。它讓提示工程變得更加輕鬆，並幫助你打造具備生產品質的 LLM 應用。 +**Prompt flow** 是一套開發工具，旨在簡化基於大型語言模型的 AI 應用程式的端到端開發週期，包含構思、原型製作、測試、評估到生產部署及監控。它使提示工程變得更簡單，並幫助您打造具生產品質的 LLM 應用。 -Prompt flow 可連接 OpenAI、Azure OpenAI 服務，以及可自訂的模型（Huggingface、本地 LLM/SLM）。我們希望將 Phi-3.5 的量化 ONNX 模型部署到本地應用。Prompt flow 能協助我們更好地規劃業務，並完成基於 Phi-3.5 的本地解決方案。在此範例中，我們將結合 ONNX Runtime GenAI 函式庫，完成基於 Windows GPU 的 Prompt flow 解決方案。 +Prompt flow 可以連接 OpenAI、Azure OpenAI 服務及可自訂模型（Huggingface、在地 LLM/SLM）。我們希望將 Phi-3.5 的量化 ONNX 模型部署到在地應用中。Prompt flow 能協助我們更好地規劃業務並完成基於 Phi-3.5 的本地化解決方案。本範例將結合 ONNX Runtime GenAI Library 以完成基於 Windows GPU 的 Prompt flow 解決方案。 -## **安裝** +## 安裝 -### **Windows GPU 的 ONNX Runtime GenAI** +### **Windows GPU 專用 ONNX Runtime GenAI** -請參考此指南設定 Windows GPU 的 ONNX Runtime GenAI [點此](./ORTWindowGPUGuideline.md) +請閱讀此指南以設定 Windows GPU 的 ONNX Runtime GenAI [點此](./ORTWindowGPUGuideline.md) ### **在 VSCode 中設定 Prompt flow** -1. 安裝 Prompt flow VS Code 擴充功能 +1. 安裝 Prompt flow VS Code 擴充套件 ![pfvscode](../../../../../../translated_images/zh-TW/pfvscode.eff93dfc66a42cbe.webp) -2. 安裝完 Prompt flow VS Code 擴充功能後，點選該擴充功能，選擇 **Installation dependencies**，依照指引在你的環境中安裝 Prompt flow SDK +2. 安裝完成 Prompt flow VS Code 擴充套件後，點選該擴充套件，並選擇 安裝相依項，依照此指南在您的環境中安裝 Prompt flow SDK ![pfsetup](../../../../../../translated_images/zh-TW/pfsetup.b46e93096f5a254f.webp) -3. 下載 [範例程式碼](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf)，並使用 VS Code 開啟此範例 +3. 下載 [範例程式碼](../../../../../../code/09.UpdateSamples/Aug/pf/onnx_inference_pf) 並使用 VS Code 開啟該範例 ![pfsample](../../../../../../translated_images/zh-TW/pfsample.8d89e70584ffe7c4.webp) -4. 開啟 **flow.dag.yaml** 選擇你的 Python 環境 +4. 開啟 **flow.dag.yaml** 並選擇您的 Python 環境 ![pfdag](../../../../../../translated_images/zh-TW/pfdag.264a77f7366458ff.webp) - 開啟 **chat_phi3_ort.py** 修改你的 Phi-3.5-instruct ONNX 模型路徑 + 開啟 **chat_phi3_ort.py** 修改您的 Phi-3.5-instruct ONNX 模型路徑 ![pfphi](../../../../../../translated_images/zh-TW/pfphi.72da81d74244b45f.webp) -5. 執行你的 prompt flow 進行測試 +5. 執行您的 prompt flow 進行測試 -開啟 **flow.dag.yaml**，點選視覺化編輯器 +開啟 **flow.dag.yaml** 並點選視覺化編輯器 ![pfv](../../../../../../translated_images/zh-TW/pfv.ba8a81f34b20f603.webp) -點擊後執行以進行測試 +點選後執行以進行測試 ![pfflow](../../../../../../translated_images/zh-TW/pfflow.4e1135a089b1ce1b.webp) -1. 你也可以在終端機中批次執行以查看更多結果 +1. 您也可以在終端機批次執行以檢視更多結果 + ```bash @@ -60,9 +61,14 @@ pf run create --file batch_run.yaml --stream --name 'Your eval qa name' ``` -你可以在預設瀏覽器中查看結果 +您可以在預設瀏覽器中查看結果 + ![pfresult](../../../../../../translated_images/zh-TW/pfresult.c22c826f8062d7cb.webp) -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們致力於確保翻譯的準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋負責。 \ No newline at end of file +--- + + +**免責聲明**： +此文件已使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們努力追求準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於關鍵資訊，建議採用專業人工翻譯。我們不對因使用此翻譯所產生的任何誤解或誤譯承擔責任。 + \ No newline at end of file diff --git a/translations/zh-TW/md/03.FineTuning/FineTuning_MLX.md b/translations/zh-TW/md/03.FineTuning/FineTuning_MLX.md index b0fdcbdeb..44d9c8077 100644 --- a/translations/zh-TW/md/03.FineTuning/FineTuning_MLX.md +++ b/translations/zh-TW/md/03.FineTuning/FineTuning_MLX.md @@ -1,14 +1,17 @@ -# **使用 Apple MLX Framework 微調 Phi-3** +# **使用 Apple MLX 框架微調 Phi-3** + +我們可以透過 Apple MLX 框架命令列完成結合 Lora 的微調。(如果您想了解更多 MLX 框架的操作，請閱讀 [使用 Apple MLX 框架推理 Phi-3](../03.FineTuning/03.Inference/MLX_Inference.md)) -我們可以透過 Apple MLX Framework 的命令列完成結合 Lora 的微調。（如果想了解更多 MLX Framework 的操作，請參考 [Inference Phi-3 with Apple MLX Framework](../03.FineTuning/03.Inference/MLX_Inference.md)） ## **1. 資料準備** -預設情況下，MLX Framework 需要 train、test 和 eval 的 jsonl 格式資料，並結合 Lora 來完成微調任務。 +預設 MLX 框架需要 train、test 和 eval 的 jsonl 格式資料，並結合 Lora 來完成微調任務。 + ### ***注意:*** -1. jsonl 資料格式： +1. jsonl 資料格式 ： + ```json @@ -19,15 +22,17 @@ ``` -2. 我們的範例使用的是 [TruthfulQA 的資料](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但資料量相對不足，因此微調結果不一定最佳。建議學習者根據自身場景使用更合適的資料來完成微調。 +2. 我們的範例使用的是 [TruthfulQA 的資料](https://github.com/sylinrl/TruthfulQA/blob/main/TruthfulQA.csv)，但資料量相對不足，因此微調結果不一定是最理想的。建議學習者根據自身場景使用更好的資料來完成。 -3. 資料格式需配合 Phi-3 範本 +3. 資料格式結合了 Phi-3 模板 + +請從此 [連結](../../../../code/04.Finetuning/mlx)下載資料，請包含 ***data*** 資料夾內所有 .jsonl 檔案 -請從此 [連結](../../../../code/04.Finetuning/mlx) 下載資料，請包含 ***data*** 資料夾內所有 .jsonl 檔案 ## **2. 在終端機進行微調** -請在終端機執行以下指令 +請在終端機運行此命令 + ```bash @@ -35,11 +40,13 @@ python -m mlx_lm.lora --model microsoft/Phi-3-mini-4k-instruct --train --data ./ ``` + ## ***注意:*** -1. 這是 LoRA 微調，MLX Framework 尚未發布 QLoRA +1. 這是 LoRA 微調，MLX 框架尚未發布 QLoRA + +2. 您可以設定 config.yaml 以更改部分參數，例如 -2. 你可以透過設定 config.yaml 來更改部分參數，例如 ```yaml @@ -109,7 +116,8 @@ lora_parameters: ``` -請在終端機執行以下指令 +請在終端機運行此命令 + ```bash @@ -117,9 +125,11 @@ python -m mlx_lm.lora --config lora_config.yaml ``` -## **3. 執行微調 adapter 進行測試** -你可以在終端機執行微調 adapter，指令如下 +## **3. 運行微調適配器測試** + +您可以在終端機運行微調適配器，如下 + ```bash @@ -127,7 +137,8 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --adapter-pat ``` -並執行原始模型來比較結果 +並運行原始模型進行結果比較 + ```bash @@ -135,9 +146,11 @@ python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2 ``` -你可以嘗試比較微調後與原始模型的結果差異 +您可以嘗試比較微調結果與原始模型的表現 + + +## **4. 合併適配器以產生新模型** -## **4. 合併 adapters 生成新模型** ```bash @@ -145,9 +158,10 @@ python -m mlx_lm.fuse --model microsoft/Phi-3-mini-4k-instruct ``` -## **5. 使用 ollama 執行量化微調模型** +## **5. 使用 ollama 運行量化微調模型** + +使用前，請先配置您的 llama.cpp 環境 -使用前，請先配置你的 llama.cpp 環境 ```bash @@ -161,14 +175,15 @@ python convert.py 'Your meger model path' --outfile phi-3-mini-ft.gguf --outtyp ``` -***注意:*** +***注意:*** -1. 現在支援 fp32、fp16 及 INT 8 的量化轉換 +1. 目前支援 fp32, fp16 及 INT 8 的量化轉換 -2. 合併後的模型缺少 tokenizer.model，請從 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct 下載 +2. 合併模型缺少 tokenizer.model，請從 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct 下載 設定一個 [Ollma Model](https://ollama.com/) + ```txt FROM ./phi-3-mini-ft.gguf @@ -176,7 +191,8 @@ PARAMETER stop "<|end|>" ``` -在終端機執行指令 +在終端機運行命令 + ```bash @@ -186,7 +202,11 @@ PARAMETER stop "<|end|>" ``` -恭喜！你已掌握使用 MLX Framework 進行微調 +恭喜！精通使用 MLX 框架進行微調 + +--- -**免責聲明**： -本文件係使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們力求準確，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋負責。 \ No newline at end of file + +**免責聲明**： +此文件已使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。雖然我們努力追求準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於關鍵資訊，建議採用專業人工翻譯。我們不對因使用此翻譯所產生的任何誤解或誤譯承擔責任。 + \ No newline at end of file