Arize Phoenix teszt: LLM-tracing és értékelés saját szerveren

Az Arize Phoenix egy nyílt forrásszerver, amely rögzíti, mit tett egy LLM-alkalmazás — minden promptot, minden lépési visszakeresést, minden eszközhívást és minden token —, majd ezeket pontozza. Egyetlen paranccsal indul a laptopon, vagy a saját Kubernetes-klaszteredbe kerül, a licenc pedig semmin sem állít mérőt. Ennek az értékelésnek az álláspontja nyers: a Phoenix a legrövidebb út ahhoz, hogy a trace-adatok a saját hálózaton maradjanak, az ár pedig az, hogy magad üzemeltet egy observability-rendszert.

Az alkalmazás SDK-ja és a dashboard között ül, ugyanzt a helyet veszi el a Langfuse-tól, a Braintrust-tól és a LangSmith-től, és az Arize saját AX cloudja is ugyanoda pályázik, a csapatoknak, akik inkább számlát küldenek, mintsem adatbázist üzemeltetnek. Általában rosszabbat vált ki: logdömpinget, egy senki által nem nyitott dashboardot és egy táblázatot az értékelési eredményekkel.

Mi ez

A Phoenix egy három részből álló konténerizált alkalmazás — webfelület, trace-collector és SQL-háttér —, amelyet az Arize az Elastic License 2.0 alatt ad ki. A Python-csomag arize-phoenix, 2026 elején 20.19.0-s verzióban, Python 3.11 vagy újabb kell hozzá, a tároló pedig alig több mint 11 700 csillagot számlál. Minden benne van az ingyenes verzióban: tracing, annotáció, datasetek, kísérletek, prompt-IDE és LLM-as-a-judge értékelés.

• Licenc: Elastic License 2.0 (ELv2), szabadon self-hostelhető, használati korlát és feature-gate nélkül
• Bevétel: OTLP az OpenInference szemantikájával, auto-instrumentációs csomagokkal a szolgáltatókhoz és keretrendszerekhez
• Tárolás: alapból SQLite, termelésben PostgreSQL 14 vagy újabb, ugyanazzal a SQL-sémával
• Deployolás: terminál, Docker, Kubernetes, Helm, CloudFormation és one-click sablonok Railwayhez, Renderhez, Cloud Runhoz és Azure-hoz
• Kör: trace-ek és sessionök, annotációk, datasetek, kísérletek, prompt-verziók, kód-alapú scorerok és LLM-as-a-judge
• Tenancy: egy példány egy tenant, OAuth2-val, LDAP-dal, helyi fiókokkal és szerepalapú hozzáférés-kezeléssel ugyanabban a buildben
• Cloud-pár: az Arize AX, ahol a támogatás, a rendelkezésre állási vállalás és a multi-tenancy lakik

Egy olyan csapatnak, amelynek ügyfele vagy felügyelete nem engedi, hogy a trace-ek elhagyják az országot, ez a lista önmagában a rövidlista. Mindenki másnak ez csere: a teljes termék nulla forintba kerül, és azok a feladatok, amiket egyébként a szállító végezne — megőrzés, backup, frissítés, és az a kérdés, hogy ki hívják fel, ha leáll a collector — a te felelősséged lesz.

Hogyan működik

Az instrumentált folyamat spaneket küld egy OpenTelemetry exportere felé, a Phoenix OTLP-n a 6006-os porton fogadja őket, SQL-be írja, és projektekbe, sessionökbe és trace-ekbe rendezi. Minden span OpenInference-attribútumokat hordoz a tokenekről, költségről, modellről, visszakeresési payloadokról és eszközargumentumokról — ezért tudja később a scorer a teljes lefutást olvasni, és nem csak a végső stringet.

Ezután az a hurok fut, amit az Arize közzétesz: megfigyelni, annotálni, hipotézist állítani, kísérletezni, mérni. A termelési trace datasetsorrá válik, egy jelölt prompt kísérletként fut a dataset ellen, és a scorerok — beépített, kód-alapú vagy judge-alapú — pontokat fűznek azokhoz a rekordokhoz, amiket a felület amúgy is mutat. A dokumentáció a PXI-t is leírja, egy agent felületet problémák vizsgálatához és kísérletek futtatásához a rögzített trace-ek fölött, továbbá az agenttel támogatott px setup parancsot, ami egy valódi trace-ig vár, mielőtt sikert jelentene.

Első lépések

Két parancs. A szerver egyetlen Python-hívás, uvx arize-phoenix serve, amely a http://localhost:6006 címen üres projekttel válaszol. Az oldalon arize-phoenix-otel és az OpenInference instrumentor áll az alkalmazásban amúgy is használt SDK mellé:

# 1. terminál: uvx arize-phoenix serve  ->  UI: http://localhost:6006
# pip install "arize-phoenix-otel>=0.16.0" openinference-instrumentation-openai
from phoenix.otel import register

register(
    project_name="support-agent",
    auto_instrument=True,
    endpoint="http://localhost:6006/v1/traces",
)

from openai import OpenAI

client = OpenAI()
reply = client.responses.create(
    model="gpt-5-mini",
    input="Summarise this ticket in one sentence.",
)
print(reply.output_text)

A visszatérő érték egy valós spanekkel teli projekt: bemenet, kimenet, modell, token-számok, késleltetés és az eszközhívások egymásba ágyazása az agent-turn alatt, amely kiváltotta őket. A register() hívás beolvassa a PHOENIX_COLLECTOR_ENDPOINT értékét, ha az be van állítva, így ugyanaz a kód éri el a laptopot, a közös staging szervert vagy az air-gapped környezetet módosítás nélkül.

Self-hosting gyakorlatban

A dokumentáció air-gapped telepítést ígér: a nyílt verzió semmit sem küld az Arize felé, a trace-ek, promptok és datasetek pedig a saját infrastruktúrában maradnak. A követelés mögött egy konténer és egy adatbázis áll, a munkakönyvtár vagy a PHOENIX_SQL_DATABASE_URL az egyetlen stateful rész, amit érdemes backup-ütemezésbe tenni.

• Tárolás: alapból SQLite a munkakönyvtárban; a PHOENIX_SQL_DATABASE_URL beállítása PostgreSQL-re vált, minimálisan támogatott verzió 14
• Képek: arizephoenix/phoenix a Docker Hubon latest, rögzített verziós, nonroot és debug taggel, külön arizephoenix/phoenix-helm charttal
• Hitelesítés: OAuth2, LDAP és helyi fiókok, szerepalapú hozzáférés-kezeléssel és projektenkénti megőrzési szabályokkal
• Skálázás: több példány load balancer mögött egy adatbázison, vagy csapatonként egy saját adatbázisos példány
• Elszigetelés: a séma-beállítás egy adatbázist oszt meg csapatok között, sorok megosztása nélkül

Két korlátot érdemes tudni az első termelési hét előtt. Egy példány egy tenant, a csapatok elszigetelése tehát több deployolást jelent, a csoport-alapú multi-tenancy pedig nem készült el, csak tételként szerepel a issue-trackerekben 2026-ra. A SQLite emellett a fejlesztői adatbázis: az architektúra-oldal a termelési forgalmat PostgreSQL-re tereli, így a backup, a migráció és a connection pooling a te oszlopodba kerül.

Mennyibe kerül

A Phoenixnek nincs ára. A self-hosting oldal nem számít licencdíjat, használati korlátot és feature-gate-et, a havi költség tehát a gép, az adatbázis és az, aki karbantartja. A kereskedelmi felület az Arize AX, egy külön, kezelt termék, amelynek ingyenes szintje az értékeléshez elég, az Pro szintje pedig az első valódi számla:

Az első két szintet az Arize üzemelteti, és az ártáblázat a self-hostinget csak az AX Enterprisehoz sorolja. A mezőn belül az ingyenes self-hosted út a kivétel: a Langfuse ingyenes cloudja havi 50 000 egységre van korlátozva, a Braintrust 1 GB-ra, a LangSmith 5 000 trace-re, míg a korlátlan Phoenix egy gépbe kerül. A csapda a másik végén van — a dedikált támogatás és a rendelkezésre állási vállalás Enterprise-tételek, aki másra akarja bízni a rendelkezésre állást, 50 dollárért nem kapja meg.

Hol akad

A Phoenix azt kéri, hogy legyél a saját observability-szállítód, és ez látszik is. A megőrzés az, amit beállítasz, a bevételi térfogat az, amit a lemez elbír, és a nyílt verzióban sincs támogatási szerződés és rendelkezésre állási vállalás. Az SQL-háttér ráadásul nem analitikus motor: az architektúra-oldal a nagy volumenű, másodperc alatti OLAP-munkát az Arize tulajdonos adatbázisába, az adb-be tereli, amely csak az AX-ben létezik. A projekt gyorsan szállít, ami a feature-eknek jó és az upgrade-ablak rögzítésénél kényelmetlen, a kifinomult hosting-extrák — kezelt agentek, hibajelzés, repo-hozzáférés — pedig AX-tételek, nem Phoenix-tételek.

Ne funkciószám, hanem megkötés szerint válassz. Ha az adatmegfelelés a feltétel, a Phoenix vagy a self-hostelt Langfuse a válasz, a Braintrust pedig csak az értékesítés bevonása után jöhet szóba. Ha a számla fontosabb az adatsíknál, a 29 dolláros Langfuse Core aláírja az AX Prót, és még prompt menedzsmentet is hoz. Ha a CI-ban futó értékelés a valódi feladat, egy scorer-könyvtár és egy kész eval-action rövidebb út, mint itt az alkatrészeket összerakni.

A szoftvert harmadik felek számára nem nyújthatja át hosztolt vagy kezelt szolgáltatásként, ha a szolgáltatás a felhasználók számára a szoftver funkcióinak lényeges részéhez biztosít hozzáférést. — Elastic License 2.0, korlátozások

Ítélet

A Phoenix a jó alapértelmezés olyan csapatnak, amely nem exportálhatja a trace-eket, és van valaki, aki szívesen üzemeltet Postgrest. Rossz választás olyan csapatnak, amely ezen a héten akar értékelési platformot infrastruktúra-beszélgetés nélkül, mert a tárolás, a megőrzés, a hozzáférés-kezelés és a frissítés valódi munka, akár ingyenes a licenc.

1. Válaszd, ha a trace-adatoknak a saját hálózaton kell maradniuk, air-gapped környezetben is: a nyílt verzió semmit sem küld az Arize felé.
2. Válaszd, ha a költségmodell fontosabb a feature-listánál: nincs span-korlát, nincs ülőhely-díj, nincs bevételi mérés.
3. Válaszd, ha az OpenTelemetry már a ház szabványa, mert a bevétel OTLP, és az exportere cserélhető, az alkalmazás érintése nélkül.
4. Ne válassz, ha több bérlős hosting kell rendelkezésre állási vállalással és belépő áron: az AX Pro csak hosztolt, a szerződések az Enterprise-nál kezdődnek.
5. Ne válassz, ha a CI-ban futó értékelés a fő feladat, vagy ha senki sem akar adatbázist birtokolni a csapatban.

Források

1. Arize Phoenix: nyílt forrássú observability és értékelés
2. Phoenix dokumentáció: self-hosting
3. Phoenix dokumentáció: licenc, Elastic License 2.0
4. Phoenix dokumentáció: architektúra, tárolás és skálázás
5. Phoenix dokumentáció: tracing beállítása
6. Phoenix dokumentáció: OpenTelemetry SDK beállítása
7. Arize árak: AX Free, AX Pro és AX Enterprise
8. Langfuse árak: cloud tarifák és számlázható egységek
9. LangChain árak: LangSmith tarifák