ID ▾

API LLM tanpa sensor yang kompatibel dengan OpenAIuncensoredapis.com

BerandaAgent

Penguji API Kompatibel OpenAI: Verifikasi Endpoint Apa Saja

Terminal mengirim permintaan uji ke kubus gerbang API, masing-masing mengembalikan tanda centang hijau

Anda tidak memerlukan penguji API kompatibel openai khusus untuk memeriksa endpoint. Empat permintaan dan skrip Python singkat memberi tahu Anda apakah URL dasar benar-benar berperilaku seperti API OpenAI.

Diperbarui

Poin utama

  1. Mulailah dengan GET /v1/models, lalu satu penyelesaian chat minimal.
  2. Uji streaming dan baca penggunaan di akhir stream.
  3. Kirim permintaan buruk secara sengaja untuk melihat tampilan kesalahan.
  4. Satu skrip dapat menjalankan semua pemeriksaan dan mencetak lulus atau gagal.

Empat pemeriksaan yang penting

Banyak layanan mengklaim kompatibel dengan OpenAI. Beberapa hanya menyalin rute chat, beberapa mengubah format kesalahan, beberapa menghilangkan detail streaming. Penguji harus mengonfirmasi apa yang diandalkan kode klien Anda:

  1. Otentikasi dan discovery: GET /v1/models dengan kunci Bearer.
  2. Sebuah penyelesaian chat minimal: POST /v1/chat/completions.
  3. Streaming: panggilan yang sama dengan stream: true.
  4. Kesalahan: apa yang kembali untuk kunci yang buruk, nama model yang buruk dan body yang tidak valid.

Contoh di bawah menggunakan endpoint situs ini, https://api.uncensoredapis.com/v1, dan model uncensored. Ganti dengan URL dasar dan model dari apa pun yang Anda uji. Jika Anda belum memiliki kunci, buat di sini; akun baru dapat mengklaim trial $0,50 tanpa kartu.

Periksa 1: daftar model dengan curl

export API_KEY="sk-your-key"
curl -s -w "\nHTTP %{http_code}\n" \
  https://api.uncensoredapis.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

Harapkan HTTP 200 dan objek JSON dengan array data. Setiap item memiliki id. Di sini ID yang akan Anda gunakan di mana-mana adalah uncensored. Panggilan ini memeriksa DNS, TLS, awalan path dan kunci, jadi jika gagal tidak ada gunanya menguji apa pun lagi. Penyebab umum adalah tidak adanya /v1 di URL dasar, slash tambahan di akhir, atau kunci yang disalin dengan baris baru.

Pemeriksaan 2: satu permintaan chat minimal

curl -s https://api.uncensoredapis.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Reply with the word ok."}]}'

Di balasan, periksa choices[0].message.content, finish_reason dan objek usage dengan hitungan token prompt dan penyelesaian. Gunakan juga header: tambahkan -i dan cari X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency. Mereka berguna untuk logging dan pelacakan biaya nanti. Layanan yang sama juga menerima POST /v1/responses, yang dibahas dalam penjelasan referensi API.

Pemeriksaan 3: skrip Python yang menguji semuanya

Curl bagus untuk melihat pertama kali, tetapi skrip yang dapat Anda jalankan kembali setelah setiap perubahan lebih baik. Ini menggunakan paket resmi openai dan melaporkan setiap pemeriksaan.

import sys
from openai import OpenAI, AuthenticationError, NotFoundError, RateLimitError

BASE = "https://api.uncensoredapis.com/v1"
MODEL = "uncensored"
client = OpenAI(base_url=BASE, api_key=sys.argv[1])

def check(name, fn):
    try:
        print("PASS", name, "-", fn())
    except Exception as e:
        print("FAIL", name, "-", type(e).__name__, e)

def models():
    ids = [m.id for m in client.models.list().data]
    assert MODEL in ids, ids
    return ids

def chat():
    r = client.chat.completions.create(
        model=MODEL, messages=[{"role": "user", "content": "Say ok."}])
    assert r.choices[0].message.content
    return r.usage.total_tokens

def stream():
    parts, usage = [], None
    for c in client.chat.completions.create(
            model=MODEL, stream=True,
            messages=[{"role": "user", "content": "Count to five."}]):
        if c.choices and c.choices[0].delta.content:
            parts.append(c.choices[0].delta.content)
        usage = getattr(c, "usage", None) or usage
    assert parts
    return f"{len(parts)} chunks, usage={usage}"

def bad_model():
    try:
        client.chat.completions.create(
            model="no-such-model", messages=[{"role": "user", "content": "hi"}])
    except NotFoundError as e:
        return "NotFoundError " + str(e.status_code)
    except Exception as e:
        return type(e).__name__
    raise AssertionError("bad model name was accepted")

for n, f in [("models", models), ("chat", chat), ("stream", stream), ("bad model", bad_model)]:
    check(n, f)

Jalankan dengan python tester.py sk-your-key. Pemeriksaan model yang buruk mencatat kelas kesalahan apa pun yang dilemparkan oleh SDK Anda, yang merupakan informasi berharga. Jika layanan menerima nama model yang tidak dikenal, kemungkinan besar itu melakukan routing atau aliasing, dan Anda harus mencari tahu bagaimana caranya.

Pemeriksaan 4: penanganan kesalahan

Aplikasi Anda akan melihat kegagalan, jadi periksa secara sengaja.

  • Kunci buruk: ubah satu karakter dalam kunci. Harapkan HTTP 401 dan badan kesalahan JSON, bukan halaman HTML.
  • Body tidak valid: kirim {"model":"uncensored"} tanpa messages. Harapkan 4xx dengan pesan yang dapat dibaca.
  • Batas laju: API ini mengembalikan 429 dengan kode rate_limited untuk permintaan per menit dan concurrency untuk terlalu banyak permintaan simultan. Beban berlebih sementara juga mengembalikan 429, dengan Retry-After: 5.

Klien yang baik memperlakukan 429 sebagai sinyal untuk menunggu dan mencoba lagi, dan 4xx selain 429 sebagai bug yang harus diperbaiki. Tulis aturan percobaan ulang sekali dan uji dengan meluncurkan sepuluh permintaan pada saat yang sama. Batas per jenis kunci ada di halaman kesalahan dan batas laju.

Kesenjangan kompatibilitas yang perlu dicari

Lulus keempat pemeriksaan adalah awal yang baik. Ini adalah tempat di mana klon paling sering berbeda, jadi periksa setiap satu jika aplikasi Anda bergantung pada itu:

  • Parameter: kirim temperature, top_p, stop, seed dan penalti. Beberapa server mengabaikannya secara diam-diam. Jalankan prompt yang sama tiga kali dengan seed tetap dan suhu rendah dan bandingkan output.
  • Peran pesan: coba pesan system terlebih dahulu, lalu riwayat multi-putaran panjang. Periksa apakah pesan sistem benar-benar mengubah perilaku.
  • Panggilan alat: minta panggilan ke fungsi yang Anda definisikan, lalu kirimkan hasilnya kembali sebagai pesan role: "tool". Dalam mode streaming, tool_calls tiba dalam potongan yang harus Anda gabungkan.
  • Mode JSON: atur response_format ke {"type":"json_object"} dan uraikan 20 balasan.
  • Ukuran badan: API ini menerima badan hingga 8 MB. Permintaan di atas batas harus gagal dengan 4xx yang jelas, bukan menggantung.

Tuliskan setiap kesenjangan yang Anda temukan dan putuskan apakah kode Anda dapat mengatasinya. Simpan catatan di sebelah skrip, karena lain kali ketika penyedia merilis pembaruan, Anda akan ingin menjalankan kembali pemeriksaan yang sama dan membandingkannya. Jika Anda menguji beberapa penyedia, jalankan skrip yang identik terhadap masing-masing dan simpan output dalam tabel, sehingga perbedaan terlihat sekilas alih-alih terkubur dalam memori. Parameter yang hilang biasanya tidak berbahaya. Format kesalahan yang berbeda atau streaming yang rusak biasanya tidak.

Apa yang tidak dibuktikan oleh keberhasilan

Run hijau menunjukkan kompatibilitas protokol. Ini tidak mengatakan apa pun tentang kualitas jawaban, kecepatan di bawah beban atau harga. Itu membutuhkan pengujian terpisah pada prompt Anda sendiri. Dua penambahan cepat layak dilakukan: permintaan dengan prompt panjang mendekati ukuran nyata Anda (endpoint ini memiliki jendela konteks 100.000 token), dan permintaan pemanggilan alat jika aplikasi Anda menggunakan agen.

Juga ingat layanan apa yang Anda uji. Layanan ini menampung satu model bobot terbuka, disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini hanya teks dan bukan API resmi dari vendor model mana pun. Harganya adalah $0,15 per 1M token input dan $0,50 per 1M token output, tercantum di halaman harga, dan permintaan yang gagal tidak ditagih, sehingga menjalankan pengujian berulang kali sangat murah. dokumentasi mencantumkan setiap parameter yang didukung.

Tanya jawab

Apakah ada alat online untuk menguji endpoint yang kompatibel dengan OpenAI?

Klien HTTP apa pun berfungsi: curl, Postman, atau skrip pendek dengan SDK OpenAI. Keunggulan skrip adalah Anda dapat menjalankannya kembali setelah setiap perubahan.

URL dasar apa yang harus saya masukkan ke dalam SDK?

Gunakan URL lengkap termasuk /v1, misalnya https://api.uncensoredapis.com/v1. Jangan tambahkan /chat/completions, karena SDK akan menambahkannya secara otomatis.

Mengapa saya mendapatkan 404 pada permintaan yang terlihat benar?

Penyebab paling umum adalah URL dasar tanpa /v1 atau dengan jalur ganda. Periksa dengan GET ke /v1/models terlebih dahulu.

Bagaimana saya memeriksa sisa saldo saat pengujian?

Baca header X-Balance-USD pada respons apa pun, atau panggil GET /v1/balance.

Kunci Anda hanya membutuhkan satu formulir lagi

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.