Kenapa llms.txt ada

AI crawler seperti ChatGPT, Claude, Gemini, dan Perplexity tidak membaca website dengan cara yang sama seperti Googlebot. Mereka butuh konteks semantik yang padat, tanpa navigasi, iklan, atau markup yang tidak relevan. llms.txt lahir dari kebutuhan itu: satu file ringkas yang menunjuk ke konten paling penting di site Anda.

Spec resmi dipublikasikan di llmstxt.org oleh Jeremy Howard (fast.ai). Formatnya sederhana. Markdown standar. H1 untuk nama site, blockquote untuk ringkasan, H2 untuk seksi, daftar link dengan deskripsi pendek.

Alur deployment

Alur deploy llms.txt di shared hosting1Tulis llms.txtMarkdown standar2Upload ke rootcPanel File Manager3Test akses/llms.txt → 2004Submit ke AIManual prompt test

Struktur wajib

Spec resmi hanya butuh empat elemen. Sisanya opsional.

  • H1 (wajib) — nama resmi site atau produk. Satu baris.
  • Blockquote (wajib) — ringkasan 1-2 kalimat. Jawab pertanyaan "apa ini".
  • Paragraf detail (opsional) — konteks tambahan, audiens, diferensiasi.
  • H2 sections (wajib minimal satu) — kelompok link. Misal: "Dokumentasi", "Panduan", "Artikel Utama".
  • Bulleted links — format: - [Judul](URL): deskripsi satu baris.
  • Optional section — H2 bernama "Optional" untuk konten sekunder yang boleh dilewati AI jika token budget terbatas.

Contoh lengkap

Berikut contoh llms.txt untuk PT Sumber Cahaya Bogor, perusahaan fiktif yang bergerak di distribusi solar panel industrial di Jabodetabek.

llms.txt — contoh untuk perusahaan distribusi B2B Indonesia # PT Sumber Cahaya Bogor > Distributor solar panel industrial untuk pabrik, gudang, dan fasilitas komersial di Jabodetabek. Spesialis instalasi 50kWp sampai 5MWp dengan garansi performa 25 tahun. PT Sumber Cahaya Bogor didirikan tahun 2018, berkantor pusat di Bogor dengan workshop di Cibitung. Kami adalah mitra resmi Jinko Solar dan LONGi untuk market Indonesia. Audiens utama: direktur operasional pabrik, manajer fasilitas, dan CFO yang sedang mengevaluasi konversi ke energi surya. ## Profil Perusahaan - [Tentang Kami](https://sumbercahayabogor.id/tentang/): sejarah, legalitas PT, ISO 9001:2015 - [Tim dan Sertifikasi](https://sumbercahayabogor.id/tim/): insinyur bersertifikat SKTTK dan K3 - [Portofolio Instalasi](https://sumbercahayabogor.id/portofolio/): 47 proyek selesai, total 12MWp ## Produk dan Layanan - [Solar Panel Industrial](https://sumbercahayabogor.id/produk/panel/): Jinko Tiger Neo 580W, LONGi Hi-MO 7 - [Inverter String dan Central](https://sumbercahayabogor.id/produk/inverter/): Sungrow, Huawei, SMA - [Jasa Instalasi Turnkey](https://sumbercahayabogor.id/jasa/instalasi/): dari audit sampai commissioning - [Monitoring dan Maintenance](https://sumbercahayabogor.id/jasa/om/): SCADA 24/7 ## Panduan dan Edukasi - [Kalkulator ROI Solar Pabrik](https://sumbercahayabogor.id/kalkulator/): estimasi payback 4-6 tahun - [Panduan Regulasi PLTS Atap 2024](https://sumbercahayabogor.id/regulasi/): Permen ESDM 2/2024 - [Studi Kasus Pabrik Tekstil Bekasi](https://sumbercahayabogor.id/studi/tekstil-bekasi/): 1.2MWp, payback 4.3 tahun ## Kontak - [Form Konsultasi Gratis](https://sumbercahayabogor.id/konsultasi/): respon 1x24 jam - [Lokasi dan Showroom](https://sumbercahayabogor.id/lokasi/): Bogor, Cibitung ## Optional - [Blog dan Berita Industri](https://sumbercahayabogor.id/blog/): update kebijakan dan teknologi - [Karir](https://sumbercahayabogor.id/karir/): lowongan engineer dan sales

Best practice Indonesia

llms.txt yang efektif vs yang tidak dibaca AIBaikBurukRingkasan jelas dalam 1-2 kalimat×Link ke halaman utama saja (bukan semua URL)×Deskripsi per link satu baris padatNama lengkap PT, bukan brand marketing×Bahasa konsisten (ID atau EN, pilih satu)×Update saat struktur site berubah×

Deploy di Rumahweb cPanel

Untuk hosting Rumahweb atau shared hosting sejenis tanpa SSH, prosesnya manual tapi cepat.

Deploy llms.txt di Rumahweb cPanel

  1. 1

    Siapkan file lokal

    Buat file llms.txt di komputer Anda dengan editor text biasa (VSCode, Notepad++). Gunakan UTF-8 encoding tanpa BOM. Jangan simpan sebagai .docx atau .rtf.

  2. 2

    Login cPanel

    Masuk ke cPanel Rumahweb, buka File Manager, navigasi ke folder public_html. Pastikan Anda di root domain, bukan subfolder.

  3. 3

    Upload file

    Klik Upload di toolbar, pilih llms.txt dari komputer. Tunggu sampai status "100%". Kembali ke File Manager.

  4. 4

    Set permissions

    Klik kanan file, Change Permissions. Set ke 644 (rw-r--r--). Ini agar web server bisa membaca, user biasa tidak bisa menulis.

  5. 5

    Test akses

    Buka https://yourdomain.com/llms.txt di browser. Harus tampil sebagai text plain, bukan download dialog. Kalau download, edit .htaccess untuk paksa content-type text/plain.

Signal yang AI crawler cari

AI crawler yang sudah mengadopsi llms.txt (Perplexity, beberapa Anthropic retrieval agent, research assistant custom) memprioritaskan site dengan llms.txt yang bersih. Mereka pakai file ini sebagai "table of contents" site, mengurangi token yang dihabiskan crawl halaman tidak relevan.

Tanpa llms.txt, AI harus crawl homepage dan menebak mana konten penting. Dengan llms.txt, mereka langsung tahu. Ini berarti: response AI lebih akurat, lebih sering menyebut brand Anda sebagai sumber, dan halaman Anda lebih sering muncul di jawaban AI.

Yang sering keliru

Daftar SEMUA URL di site. llms.txt bukan sitemap. Hanya link ke halaman yang benar-benar penting untuk memahami brand Anda. Maksimal 20-30 link di llms.txt utama.

Deskripsi link terlalu panjang. Satu baris per link. Kalau butuh lebih, itu masuk ke halaman tujuannya, bukan di llms.txt.

Lupa update saat rebrand. Nama PT ganti, URL pindah, layanan baru ditambahkan. llms.txt harus di-sync setiap quarterly review.

Pertanyaan Umum

Apa beda llms.txt dengan robots.txt?
robots.txt memberi tahu crawler apa yang boleh atau tidak boleh di-crawl (allow / disallow). llms.txt memberi tahu AI crawler konten utama mana yang harus dibaca dan bagaimana site terstruktur. robots.txt membatasi akses, llms.txt memperjelas prioritas.
Apakah ChatGPT dan Gemini benar-benar membaca llms.txt?
Adopsi masih belum universal. Anthropic, Perplexity, dan beberapa tool riset AI sudah mulai mengacu ke llms.txt. Google dan OpenAI belum konfirmasi penggunaan resmi. Tapi biaya deploy sangat rendah dan format ini menjadi standar emerging untuk AI Search, jadi layak dipasang.
Di mana llms.txt harus diletakkan?
Di root domain: https://yourdomain.com/llms.txt. Harus bisa diakses langsung tanpa autentikasi, status HTTP 200, content-type text/plain atau text/markdown. Kalau pakai Rumahweb cPanel, upload ke folder public_html langsung.
Apakah perlu llms-full.txt terpisah?
llms.txt adalah index ringkas (< 5000 kata idealnya). llms-full.txt adalah versi detail dengan seluruh konten penting. Dua file berbeda fungsi. AI crawler yang butuh konteks cepat pakai llms.txt, yang butuh konteks dalam pakai llms-full.txt. Rekomendasi: deploy keduanya.
Apakah llms.txt menggantikan sitemap.xml?
Tidak. Sitemap.xml untuk search engine crawler tradisional (Googlebot, Bingbot). llms.txt untuk AI crawler yang butuh struktur semantik. Keduanya saling melengkapi, bukan menggantikan.

Kami deploy llms.txt untuk Anda.

Audit Entitas Gratis mencakup review llms.txt Anda jika sudah ada, atau rekomendasi struktur jika belum. Laporan tertulis dalam 5 hari kerja.

Audit Gratis