vLLM (@vllm_project)
vLLM 커뮤니티와 NVIDIA가 Blackwell GPU에서 gpt-oss-120b의 성능을 크게 향상시켰다는 발표입니다. 최대 처리량 +38%, 최소 대기시간 -13% 등 전반적 파레토 프론티어 개선을 이루었고, 핵심 기법으로 FlashInfer 통합, torch.compile 커널 융합, 비동기 스케줄링과 스트리밍이 언급됩니다.
#GPTOSS
金のニワトリ (@gosrum)
step-3.5-flash의 ts-bench 결과 발표: 벤치마크에서 GLM-4.7보다 낮은 점수를 기록했으며, gpt-oss-120b와는 동등하거나 그 이하 수준이라는 평가 결과를 공유.
https://x.com/gosrum/status/2018298305676238879
#benchmark #llm #step3.5flash #glm #gptoss
Chạy mô hình MoE (GLM-4, GPT-OSS) trên CPU/RAM: Hiệu năng phụ thuộc vào băng thông bộ nhớ, không phải dung lượng. Với DDR5-6000 (hiệu dụng ~35GB/s), tốc độ đạt 20.5 tokens/giây (GLM-4.7-Flash) và 13.7 tokens/giây (GPT OSS 120B). Cần tối ưu BIOS (XMP, PL1/PL2 219W), làm mát tốt, undervolt và compile `llama.cpp` đúng cấu hình (Raptor Lake). Dùng `taskset` để chạy trên P-cores, tận dụng GPU để tăng tốc.
#AI #LLM #MoE #GLM4 #GPTOSS #CPUInference #llama.cpp #MachineLearning #TríTuệNhânTạo #MôHìnhN
Mistral Small Creative vượt qua Claude Opus 4.5, Sonnet 4.5 và GPT-OSS-120B trong các nhiệm vụ giao tiếp thực tế. Mistral thể hiện khả năng viết tiếng tự nhiên như một người lãnh đạo kỹ thuật. #Mistral #ClaudeOpus #GPTOSS #TríTuệNhânTạo #AI #ArtificialIntelligence #CommunicationTasks #NhiệmVụGiaoTiếp
khazzz1c (@Imkhazzz1c)
한 사용자가 GPT-OSS-120B를 극찬하며 ‘드문 최상급 모델’이라 평가했습니다. 해당 트윗은 이 모델이 뛰어난 성능과 가치를 지닌 오픈소스급 대형언어모델(LLM)임을 강조하는 짧은 찬사입니다.
I updated the slides for my talk "Run LLMs Locally":
Now including requirements, costs, setup, llama.cpp, stable-diffusion.cpp, embeddings, function calling, opencode, image recognition, speech recognition, image generation, prompt injection and popular models like GPT-OSS, Qwen3, Qwen3-vl, Z-Image and Whisper.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2025_ThomasBley.pdf
#llm #llamacpp #stablediffusion #gptoss #qwen3 #opencode #php #digitalsovereignty #localai
あるごす (@argos_M1111)
작성자는 동일한 모델 크기 비교에서 개인적으로 gpt-oss 20b의 성능이 특히 우수하게 느껴졌다고 언급합니다. 본문은 같은 경험을 했음을 밝히며 gpt-oss 20b의 완성도와 상대적 우수성을 강조하는 짧은 평가입니다.
DES-Projekt Hochschulschriften: XXX. Jahrgang in der Erfassung mit noch mehr KI-Unterstützung
Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Mit dem neuen Jahrgang für 1914 wurde die Vorbereitung der Einträge mit Hilfe von Großen Sprachmodellen weiter verbessert. Seit der letzten Meldung wurden die Jahrgänge 1912 und 1913 abgeschlossen. Die Datenbank umfasst nun knapp 84.000 vollständig […]
nick (@tinyblue_dev)
Strange Music Inc.이 exolabs와 협업해 로컬 AI 클러스터 구축을 홍보하며, GPT-OSS 120B를 로컬에서 초당 77토큰으로 실행 중이라고 언급했습니다. 이는 대규모 오픈소스 모델의 로컬 배포 및 실사용 성능 사례로 볼 수 있습니다.
RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?
Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.
https://habr.com/ru/articles/981520/
#ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект
Tìm kiếm các mô hình AI phi châu Á (Mỹ, Canada, châu Âu) hiệu quả trong gọi công cụ (tool calling) cho năm 2026. Người dùng từng dùng thử Llama3.1 8B, Mistral, GPT-OSS, Gemma 3... nhận thấy GPT-OSS là lựa chọn tốt nhất nhưng gặp phải lối mòn và quy định kiểm duyệt. Cần gợi ý mô hình mới ngoài danh sách đã thử.
#AILocal #LLM #GPTOSS #AIVietNam #CôngNghệ
https://www.reddit.com/r/LocalLLaMA/comments/1pxo9y5/what_nonasian_based_models_do_you_recommend_at/
Romain Huet (@romainhuet)
VB가 OpenAI의 DX 팀에 합류했다는 발표. 작성자는 이번 여름 gpt-oss로 Hugging Face에 모델을 공개하는 협업을 했음을 언급하며, 이제 OpenAI에서 개발자들과 함께 일하며 직접 피드백을 받고 빌드할 것이라며 기대를 표함. 오픈소스 모델 배포 및 개발자 지원 관련 소식.
FOSS Advent Calendar - Door 23: Generating Text with Text-Generation-WebUI
Today we explore Text-Generation-WebUI, a FOSS tool that lets us run large language models locally through a simple web interface. For this demo, I am using 20B GPT-OSS from OpenAI in 4-bit quantization.
I tested it with a physics/chemistry prompt: "Derive the general formula for the energy levels of a particle confined in a 2D infinite square well potential (a 'quantum box') with side length L. Start from the time-independent Schrödinger equation and apply the appropriate boundary conditions." The model produced correct results, although LaTeX rendering had minor issues. You also get full access to its reasoning, so you can follow step by step how the model arrives at the solution.
Everything runs locally, so our data stays private and no cloud services are required. Text-Generation-WebUI is perfect for experimenting with AI, studying, or nerdy fun.
Pro tip: try giving the model a challenging physics, math, or coding problem and check its reasoning along with the answer.
Link: https://github.com/oobabooga/text-generation-webui
What problem would you test with your local language model, a math derivation, a story, or code snippet?
#FOSS #OpenSource #Linux #CLI #Terminal #TextGenerationWebUI #LocalAI #LanguageModels #GPTOSS #4bitQuant #NLP #NerdContent #AdventCalendar #OpenTools #FOSSAdvent #CommandLine #CreativeAI #AI #Fediverse #TechNerds #adventkalender #adventskalender #KI #ArtificialIntelligence #KünstlicheIntelligenz #llm
Today we explore Text-Generation-WebUI, a FOSS tool that lets us run large language models locally through a simple web interface. For this demo, I am using 20B GPT-OSS from OpenAI in 4-bit quantization.
I tested it with a physics/chemistry prompt: "Derive the general formula for the energy levels of a particle confined in a 2D infinite square well potential (a 'quantum box') with side length L. Start from the time-independent Schrödinger equation and apply the appropriate boundary conditions." The model produced correct results, although LaTeX rendering had minor issues. You also get full access to its reasoning, so you can follow step by step how the model arrives at the solution.
Everything runs locally, so our data stays private and no cloud services are required. Text-Generation-WebUI is perfect for experimenting with AI, studying, or nerdy fun.
Pro tip: try giving the model a challenging physics, math, or coding problem and check its reasoning along with the answer.
Link: https://github.com/oobabooga/text-generation-webui
What problem would you test with your local language model, a math derivation, a story, or code snippet?
#FOSS #OpenSource #Linux #CLI #Terminal #TextGenerationWebUI #LocalAI #LanguageModels #GPTOSS #4bitQuant #NLP #NerdContent #AdventCalendar #OpenTools #FOSSAdvent #CommandLine #CreativeAI #AI #Fediverse #TechNerds #adventkalender #adventskalender #KI #ArtificialIntelligence #KünstlicheIntelligenz #llm
Sharing a question about LMStudio and GPU offloading on laptop : how do you offload LLM workload to GPU on a laptop with Nvidia T600 card under Linux Mint
https://vger.to/lemmy.zip/post/54938285 #ai #lmstudio #llm #linuxmint #gpu #gptoss
livebench.ai là nền tảng mới chuyên đánh giá và so sánh các mô hình AI mã nguồn mở. Cộng đồng đang bàn luận sôi nổi về bảng xếp hạng này, đặc biệt là so sánh Qwen 3 Next với GPT-OSS. Bạn nghĩ sao về thứ tự các mô hình này?
#AI #OpenSource #Livebench #LLM #Qwen #GPTOSS #Benchmark #TríTuệNhânTạo #MãNguồnMở #ĐánhGiáAI #MôHìnhNgônNgữ
https://www.reddit.com/r/LocalLLaMA/comments/1peuh30/httpslivebenchai_open_weight_models_only/
🚀 Deep Local is now torrent‑available!
🧲 Download via magnet: magnet:?xt=urn:btih:c34676c00044bb1b190150810df6c779f02cbb13&dn=DeepLocal_Setup_EN.exe&xl=50885031
⬇️ or from GitHub release v1.0.0: https://github.com/ShinRalexis/DeepLocal/releases/tag/v1.0.0 .
Install Ollama and Deep Local, and you’re ready for offline fast translation. Happy translating!
#DeepLocal #AI #Offline #Translator #Ollama #Privacy #Open #openSource #c #Windows #Torrent #Magnet #llm #csharp #gptoss #Gemma3 #Mistral #ayaexpanse #Download
Phát triển **trợ lý Git 3B** địa phương, chuyển đổi tiếng Anh thông thường thành lệnh Git chính xác — đạt độ chính xác của GPT-OSS 120B. #Git #TrợLýGit #GPTOSS #PhátTriểnCôngNghệ #CôngNgヘ TECHNOLOGY #GIT #AI
https://www.reddit.com/r/ollama/comments/1pbeesy/we_built_a_3b_local_git_agent_that_turns_plain/
오픈소스 LLM으로 MCP 에이전트 만들기: gpt-oss와 Hugging Face의 조합
OpenAI의 오픈소스 추론 모델 gpt-oss와 Hugging Face MCP를 결합해 AI 에이전트를 만드는 실전 가이드. 유료 API 없이도 강력한 에이전트 구축이 가능합니다.
Trong so sánh Qwen3-Next-80B-A3B và gpt-oss-120b cho tác vụ lập trình, gpt-oss-120b được đánh giá là vượt trội. Mô hình này cung cấp giải pháp chính xác, nhanh chóng hơn và yêu cầu ít lần thử hơn. Ngoài ra, gpt-oss-120b cũng tiết kiệm VRAM hơn đáng kể (65GB so với 85GB của Qwen3-Next 8-bit). Qwen3-Next có thể thiên về nghiên cứu kiến trúc hơn là ứng dụng thực tế.
#AI #LLM #Coding #Qwen3Next #gptoss #LậpTrình #MôHìnhNgônNgữ
https://www.reddit.com/r/LocalLLaMA/comments/1p9nckz/qwen3next80ba3b_vs_
Client Info
Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst