KI-Modelle wie gro\u00dfe Sprachmodelle (LLMs) werden immer leistungsf\u00e4higer. Doch ihre Bereitstellung war bisher aufwendig und teuer. NVIDIA \u00e4ndert das jetzt mit einem Update f\u00fcr TensorRT-LLM.<\/p>\n
TensorRT-LLM ist eine Open-Source-Bibliothek von NVIDIA, die die Inferenzleistung von LLMs auf NVIDIA-Hardware beschleunigt und optimiert. Mit dem neuen Update 0.6.0 kommt Unterst\u00fctzung f\u00fcr weitere LLMs wie Mistral 7B und Nemotron-3 8B hinzu. Und dank Verbesserungen an DirectML l\u00e4uft die Inferenz jetzt bis zu 5x schneller.<\/p>\n
Ein Wrapper f\u00fcr die OpenAI Chat API erm\u00f6glicht es jetzt, Anfragen an LLMs lokal auf dem Rechner auszuf\u00fchren. Das erh\u00f6ht die Privatsph\u00e4re und vermeidet Latenzzeiten durch Cloud-Kommunikation. Lokale Datenbest\u00e4nde k\u00f6nnen die Genauigkeit durch Retrieval-Augmented Generation verbessern.<\/p>\n
Durch die Unterst\u00fctzung aller GeForce RTX GPUs ab 8 GB VRAM kann TensorRT-LLM jetzt auf \u00fcber 100 Millionen Windows-Rechnern genutzt werden. KI-Entwicklung und -Inferenz wird damit erschwinglich und skalierbar. Die Zusammenarbeit zwischen NVIDIA und Microsoft macht diese gro\u00dfe Verf\u00fcgbarkeit m\u00f6glich.<\/p>\n
Mit TensorRT-LLM steht KI-Entwicklern und Anwendern eine leistungsstarke Inferenz-Engine zur Verf\u00fcgung. Lokale und private Nutzung von LLMs wird einfacher und schneller. Das Update ebnet den Weg f\u00fcr neue KI-Anwendungsf\u00e4lle im Mittelstand.<\/p>","protected":false},"excerpt":{"rendered":"
KI-Inferenz erh\u00e4lt Leistungsschub durch NVIDIA TensorRT KI-Modelle wie gro\u00dfe Sprachmodelle (LLMs) werden immer leistungsf\u00e4higer. Doch ihre Bereitstellung war bisher aufwendig und teuer. NVIDIA \u00e4ndert das jetzt mit einem Update f\u00fcr TensorRT-LLM. TensorRT-LLM optimiert LLMs f\u00fcr den Einsatz TensorRT-LLM ist eine Open-Source-Bibliothek von NVIDIA, die die Inferenzleistung von LLMs auf NVIDIA-Hardware beschleunigt und optimiert. Mit dem […]<\/p>","protected":false},"author":1,"featured_media":1799,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","inline_featured_image":false,"footnotes":""},"categories":[22],"tags":[],"dipi_cpt_category":[],"class_list":["post-1800","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ki-mittelstandsjournal"],"yoast_head":"\n