Token Custodian la lop dieu khien cho viec gan chi phi token AI va quan tri muc su dung, giup doanh nghiep hieu ro tung token dang duoc dung vao dau va hanh dong kip thoi de ngan lang phi.
Mục lục
Quan tri chi phi AI de tao ra gia tri, khong phai lang phi
Cac nhom ky thuat, san pham, ho tro va tai chinh dang su dung nhieu tac vu AI moi ngay. Khi luong su dung tang nhanh, viec biet ai dang goi mo hinh nao, cho du an nao va chi phi do thuoc ve ai tro nen kho khan.
Token Custodian cung cap mot tam dieu khien tap trung de:
- Gan moi token va lan chay cua tac tu AI voi nhom, du an, ung dung va trung tam chi phi.
- Dat ngan sach va chinh sach su dung theo tung cap quan ly.
- Chuyen yeu cau sang mo hinh phu hop hon ve chi phi.
- Gui canh bao, yeu cau phe duyet hoac tam dung tac vu khi vuot gioi han.
- Quan sat va kiem soat tac tu noi bo cung tac tu phuc vu khach hang tren nhieu nha cung cap.
Gan moi token voi gia tri kinh doanh
Theo doi tung token va lan chay cua tac tu den nhom, du an, ung dung va trung tam chi phi tuong ung, sau do ap dung chinh sach truc tiep. Mot tam nhin duy nhat tren nhieu nha cung cap giup chi phi gan lien voi gia tri tao ra.
- Nha cung cap: OpenAI, Anthropic va AWS Bedrock.
- Nhom: Platform.
- Du an: Support AI.
- Ung dung: Assistant.
- So token: 1,24 trieu.
Vi du, voi ngan sach hang thang cua nhom ky thuat, doanh nghiep co the:
- Canh bao pho phu trach khi chi phi dat 50%.
- Thong bao cho nhom FinOps khi dat 70%.
- Chuyen sang mo hinh tiet kiem hon khi dat 80%.
- Yeu cau phe duyet ngoai le khi dat 100%.
Khong phai luc nao cung can dung cung. Cong viec van tiep tuc trong khi he thong tung buoc tang muc kiem soat.
Chinh sach hanh dong, khong chi chan yeu cau
Token Custodian cho phep dat ngan sach va quy tac su dung theo nhom, du an hoac moi truong. Khi dat nguong, he thong thuc hien quy trinh nhieu buoc theo thoi gian thuc thay vi chi tu dong tu choi yeu cau.
- Gui thong bao.
- Giam muc do suy luan.
- Chuyen sang mo hinh tiet kiem hon.
- Yeu cau phe duyet ngoai le.
- Chi gioi han cung khi that su can thiet.
Cach tiep can nay giup cac nhom van duy tri tien do, dong thoi bao dam chi phi AI phu hop voi muc tieu kinh doanh.
Duoc xay dung tren kinh nghiem Cloud Custodian
Token Custodian duoc phat trien boi doi ngu dung sau Cloud Custodian, cong cu ma cac doanh nghiep da tin dung trong hon 10 nam. Cung mot cach tiep can dua tren chinh sach nay duoc ap dung truc tiep cho token AI theo thoi gian thuc.
- Mot ngon ngu chinh sach: dung chung cho moi dam may va AI.
- Duoc thiet ke de hanh dong: chinh sach co the thong bao, sua doi, phe duyet hoac khoi phuc.
- Quy trinh nhieu buoc: ket hop thong bao, khac phuc va phe duyet.
- Phat hien theo thoi gian thuc: hoat dong trong cac quy trinh hien co cua doanh nghiep.
Cac tinh nang chinh
Gan chi phi va ap dung chinh sach trong cung mot noi
Gan moi token voi nhom, du an, ung dung va trung tam chi phi, sau do ap dung chinh sach FinOps truc tiep tren du lieu do. Day la lop dieu khien giup doanh nghiep vua phan bo chi phi, vua quan tri muc su dung.
Quy trinh linh hoat thay vi chi chan
Khi cham nguong, he thong co the thong bao, giam cap, chuyen huong hoac khoi dong quy trinh ngoai le va phe duyet. Chi dat gioi han cung khi do la lua chon phu hop.
Chinh sach linh hoat
Nhieu FinOps co the dat ngan sach va quy tac trong giao dien. Doi ngu nen tang co the viet cac quy tac phuc tap duoi dang chinh sach-as-code trong Git, dua tren du lieu cua du an.
Quan tri AI noi bo va AI san xuat
Quan ly cong cu phat trien va tac tu phuc vu khach hang tren moi nha cung cap. Dat gioi han cho so buoc, thoi gian chay va muc tang cua ngu canh de ngan tac tu chay khong kiem soat.
Cac truong hop su dung tieu bieu
Phan bo token
Truy vet tung token ve nhom, du an, ung dung va trung tam chi phi tren moi nha cung cap. Du lieu san sang cho viec phan bo chi phi noi bo va bao cao cho bo phan tai chinh.
- Ky thuat: 6.400 do la.
- San pham: 2.400 do la.
- Van hanh: 1.200 do la.
Ba nhom, chin ung dung va 100% chi phi duoc gan nhan.
Dinh tuyen mo hinh
Gui moi yeu cau den mo hinh phu hop voi cong viec. Tac vu thong thuong chay tren mo hinh tiet kiem hon, con mo hinh cao cap danh cho nhung yeu cau thuc su can chat luong cao.
- Chinh sach: dinh tuyen theo chi phi.
- Yeu cau: tom tat.
- Mo hinh cao cap: giu lai khi can.
- Mo hinh tiet kiem: chuyen sang khi phu hop.
Thuc thi ngan sach
Dat ngan sach theo nhom, du an va trung tam chi phi. Khi chi tieu dat nguong, he thong co the chuyen sang mo hinh tiet kiem, gui canh bao hoac yeu cau phe duyet.
- Chi tieu vuot 80%.
- Chuyen sang mo hinh tiet kiem.
- Kiem tra xem co can mo hinh cao cap khong.
- Neu can, yeu cau ngoai le va phe duyet them ngan sach.
- Khi dat 100%, gioi han chi tieu va thong bao cho pho phu trach.
Ngam chan tac tu chay khong kiem soat
Dat gioi han cho so lan goi cong cu, thoi gian chay va muc tang cua ngu canh. Khi tac tu vuot mot trong cac gioi han, Token Custodian co the tam dung lan chay, thong bao cho nguoi phu trach hoac mo mot quy trinh xu ly.
- Lan goi cong cu 48: 9.800 token.
- Lan goi cong cu 49: 11.200 token.
- Lan goi cong cu 50: 14.900 token.
- Dat gioi han: tam dung lan chay, thong bao cho nguoi phu trach va tao phieu xu ly.
Token de tieu, nhung kho tieu dung cach hieu qua
Token Custodian giup doanh nghiep phan bo, quan tri va hanh dong tren chi tieu token thuc te. Tu nhin ro chi phi den dieu chinh mo hinh va xu ly ngoai le, moi chinh sach deu huong den viec tao ra nhieu gia tri hon tu AI.
Cau hoi thuong gap
Token Custodian la gi?
Day la lop dieu khien cho viec quan tri token AI. San pham gan moi token voi nhom, du an, ung dung va trung tam chi phi, sau do ap dung chinh sach ngan sach va su dung tren moi nha cung cap.
Token Custodian ho tro nha cung cap AI nao?
Token Custodian khong phu thuoc vao mot nha cung cap. San pham quan tri cac mo hinh pho bien nhu Anthropic va OpenAI, cung cac dich vu AI tren dam may nhu AWS Bedrock, Google Vertex va Azure AI tu mot noi.
Token Custodian khac cong thanh AI nhu the nao?
Cong thanh thuong quan ly luu luong, dinh tuyen va gioi han theo khoa truy cap. Token Custodian bo sung kha nang gan chi phi chi tiet va lop chinh sach cho viec quan tri su dung: truy vet tung token ve nhom hoac du an, chuyen sang mo hinh re hon hoac chuyen yeu cau ngoai le den nguoi phu trach ngan sach.
San pham co chan lap trinh vien khi het ngan sach khong?
Chi khi doanh nghiep muon nhu vay. Chinh sach co the tang dan muc do xu ly: canh bao, them buoc xac nhan, chuyen sang mo hinh tiet kiem hon hoac yeu cau phe duyet. Gioi han cung la buoc cuoi, khong phai buoc dau.
Token Custodian lien quan gi den Cloud Custodian?
Ca hai san pham den tu cung mot doi ngu va cung ap dung cach tiep can da duoc kiem chung: mot ngon ngu chinh sach, cung cac chinh sach co the hanh dong theo thoi gian thuc qua quy trinh nhieu buoc. Diem ap dung moi cua Token Custodian la token AI.
Doi ngu nen tang co the quan ly chinh sach bang ma nguon khong?
Co. FinOps co the dat ngan sach va quy tac trong giao dien, con doi ngu nen tang co the viet chinh sach phuc tap duoi dang ma nguon trong Git, dua tren du lieu cua du an.
Dat lich demo Token Custodian de tim hieu cach quan tri chi phi va muc su dung AI trong doanh nghiep.
