不專業整理 - A100 / RTX 6000 / 4090 價格與 LLM 效能數據
論大型語言模型(LLM)，目前仍由 ChatGPT 稱霸，要開發相關應用，LLM 模型訓練及執行成本很高(參考：訓練大型語言模型有多燒錢？)，透過 OpenAI 或 Azure 的 API 整合應是成本效益比較高的做法， 不過，有些應用情境不允許資料上傳到雲端，或必須重訓練或微調以符合需求，就必須考... Read More
View Article傻瓜 LLM 架設 - Ollama + Open WebUI 之 Docker Compose 懶人包
不久前發現不需要 GPU 也能在本機跑 LLM 模型的 llama.cpp，接著如雨後春筍冒出一堆好用地端 LLM 整合平台或工具，例如：可一個指令下載安裝跑 LLM 的 Ollama (延伸閱讀：介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型 by 保哥)，還有為 Ollama 加上... Read More
View ArticleRAG 基礎 - 常見向量資料庫整理
前幾天分享過向量資料庫概念科普，這篇也算豬走路系列，快速看一下 RAG 常用的向量資料庫選項，增廣見聞為主，點到為止。 而我出發的角度比較另類，預估未來主要會用 Semantic Kernel 框架開發 RAG 應用程式，所以會先從 SK 提到的向量資料庫看起。 早期 SK 提供一套名為 Seman... Read More
View ArticleQdrant 向量資料庫基本練習
昨天看了一輪常見的向量資料庫，其中 Rust 開發強調效能且支援 Docker 執行的 Qdrant 深得我心。這篇就來練習用 C# 寫入向量資料到 Qdrant 並進行向量相似性搜索。 開始前需要對 Embedding、向量相似性等有基本概念，還不清楚的同學推薦前幾天的向量資料庫概念科普影片，而這... Read More
View Article.NET 呼叫 Ollama 範例與 CPU 使用率問題
前幾天介紹過用 Ollama + Open WebUI 跑本地 LLM 的懶人做法，只靠 CPU 速度不甚理想。 沒 GPU 學人玩地端 LLM，慢到靠北也是剛好而已。。 話雖如此，基於好奇我很想看看若 CPU 核數加倍再加倍，效能會不會有明顯提升，便在 Azure 開了台 48 vCPU VM 短... Read More
View Article包山包海的殺手級 LLM 整合平台 - Anything LLM
之前試過用 Chatty GPT 打造個人專屬 ChatGPT 聊天室，但受限只能在本機桌面跑，無法多人使用。後來試了自架 Chatbot UI 伺服器因綁了 Supabase 太笨重，想等作者改 SQLite 版再用。 現在看來不用等 Chatbot UI 了! 有個包山包海的殺手級 LLM 整合... Read More
View Article在 React.js 網頁模擬文字輸入及滑鼠點擊
如果有人問你，要怎麼寫 JavaScript 在以下網頁的 textarea 欄位塞值並按下送出鈕，你可能會像我噗哧一笑，想說這是什麼白痴問題？ 然後用肌肉記憶生出兩行程式碼： document.querySelector('textarea.ant-input').value = 'summar... Read More
View ArticlePython 練習：CSV 繪製樞鈕分析圖表
不時有需要將測試結果轉成樞鈕分析圖表的場合，過去遇上這類需求，我的 SOP 都是輸出 CSV 匯入 Excel，再拖拉操作一番交差。說來不難，但需要一堆點選操作，沒法整成自動化流程。 上回體驗過用 Python 算平均、標準差、95 百分位數畫成圖表的流暢體驗，決定也來練習用 Python 產生樞鈕... Read More
View Article網頁排版與可讀性 - 字型大小與行高
朋友分享了一篇網路文章，題材我有興趣，但讀來帶有痛苦感，像是馬拉松最後階段，得靠意志力才能撐下去不棄賽，但我明明是在讀第一段呀。 做了民調，原來不只我有這種感覺。嚴格來說，文章用字還算淺白通順，到底什麼原因讓它散發著「別讀了，快放棄吧，這些文字不是你能駕御的」的暗示？ (以上非原文章，是用廢文產生... Read More
View Article打造支援 OpenAPI 標準的 Minimal API
OpenAPI 已成 Web API 的業界標準，背後有強大的生態體系，豐富的文件/程式碼產生器以測試工具，這些好處過去我已有所體會。(參考：再探 WebAPI 客戶端自動產生器 - AutoRest、NSwag 與 .NET 3.5 支援問題) 而隨著我的專案大多改用 ASP.NET Core M... Read More
View ArticleEdge/Chrome 出現「xxx.pdf 無法安全下載」/「已封鎖不安全的下載內容」
使用者反應：網站忽然沒法下載 PDF 檔，出現「xxx.pdf 無法安全下載」提示： 嚴格來說，這是 Chrome/ Edge 基於安全考量對有風險檔案請你下載前三思，只要意志堅定勇於嘗試，應會找到【...】、【保留】、【仍要保留】這條祕徑進入隱藏關卡，叫出原本的下載介面： 很顯然，這個關卡... Read More
View Article閒聊 - 老鳥的 Github Copilot 危機？
最近，愈來愈習慣用 Github Copilot 寫程式，依賴程度高到自己心驚。 現在寫程式遇到 跑迴圈拆解 CSV 對映物件屬性、fetch 某 API 取回結果 之類的情節，別說少打字，我甚至來不及動腦細想邏輯，Copilot 已經把程式生好，眼睛看過檢查一遍(通常沒問題)，這段程式就算寫完了。... Read More
View Article四個小技巧讓 ASP.NET Core Minimal API 更有條理好維護
自從發現 ASP.NET Core Minimal API，我所有用到 ASP.NET Web 的小專案(小於一個人月)清一色都是用 Minimal API 寫，省去建 Controller，另開 MVC View 的麻煩，加上 UI 走 HTML + Vue.js 輕前端，小專案往往三五個檔案寫完... Read More
View Article如何查詢微軟產品訊息之英文原文及各語系翻譯？
分享微軟產品相關問題爬文小技巧一則。 有讀者提問 Outlook 不可自動下載圖片設定變灰階無法選取怎麼辦？這個問題用「"不自動下載標準 HTML 電子郵件訊息或 RSS 項目中的圖片" 灰色」Google 會找不到相關解答。 這種狀況挺常見，理由是當茶包太冷門，中文世界沒人遇... Read More
View Article【茶包射手日記】停用 Azure DevOps Server 基本驗證
接到報案，Azure DevOps Server 2022 因啟用基本驗證 (Basic Authentication) 但未搭配 TLS/SSL 加密傳輸，被判定不安全需列入改善。 註：HTTP 基本驗證主要用在 Personal Access Token (PAT)，方便批次作業或背景服務以 P... Read More
View Article由 Linux strace 看 .NET AOT 效能差異 (同場加映組合語言、C/C++ 比較)
Linux 有個好用偵錯工具 - strace，它可以追蹤及統計應用程式調用系統呼叫 (System Call) 的狀況。在作業系統裡，舉凡開關檔、讀檔、程序管理、通訊... 等核心等級的作業系統動作都必須透過 System Call 完成。因此，應用程式完成相同動作所呼叫 System Call ... Read More
View ArticlePython 執行 DPAPI 解密：pywin32 與呼叫 PowerShell
自己搞出來的冷門需求，自己解決。 先前分享過，遇到用環境變數儲存 API Key 的需求，正常人幾乎都是明碼存入了事，某人因資安偏執發作，硬要用 Windows DPAPI 加密才安心。當場景推到 Python，再度遇上從環境變數讀 API Key 的需求，明明已有加密版又另外明碼存一份感覺是個餿主... Read More
View Article【茶包射手日記】 Oracle NUMBER 與 .NET decimal 小數精準度差異地雷
接獲報案，某段 Dapper + Managed ODP.NET 呼叫 Oracle Stored Procedure 程式出錯，語法類似 cn.Query<SomeEntity>("Some_Stored_Procedure", paramObject, comma... Read More
View ArticlePowerShell CSV / Excel 轉換函式
想在 PowerShell 中將 CSV 轉成 Excel 或將 Excel 轉成 CSV。例如，將以下的 CSV： 轉成以下格式的 Excel： 嚴格來說，這類轉換用手工作也不算難事，Excel 開啟 CSV 置中上色再調成自動寬度就好，但大家知道我性急直逼王藍田，同樣動作多做兩次就想翻桌。心... Read More
View Article【茶包射手筆記】openssl 匯出 pfx 在 Windows 密碼百敲不過
同事分享的案例，使用 openssl pkcs12 -export -out server.pfx -inkey server.key -in server.cer -certfile ca.cer 匯出 .pfx 檔，過程需要設定密碼(且需輸入兩次確認沒打錯字)，但檔案拿到 Windows 要匯入... Read More
View Article