Cara Membuat Sitemap, Robots.txt, dan Submit Search Console untuk Website Baru

Website baru sering sulit terindex bukan karena Google tidak mau, tetapi karena struktur crawl belum jelas. Sitemap, robots.txt, internal link, dan Search Console membantu Google menemukan halaman yang penting dan menghindari halaman yang tidak perlu.

Panduan ini cocok untuk website company profile, blog, portfolio, jasa website, toko online kecil, dan website bisnis lokal di Bali.

TL;DR:

• Sitemap membantu Google menemukan URL; ia tidak memaksa indexing. Kualitas konten dan internal link tetap penentu.
• robots.txt mengatur crawl, bukan index. Untuk mencegah halaman muncul di hasil pencarian, gunakan noindex — bukan Disallow.
• Submit sitemap di Search Console, lalu baca laporan Indexing untuk memahami kenapa halaman masuk atau tidak.
• Untuk website >50.000 URL atau multi-tipe, pakai sitemap index yang menunjuk ke beberapa sitemap anak.

Jika Anda sedang memperbaiki masalah AdSense, mulai juga dari checklist memperbaiki Low Value Content AdSense. Untuk website jasa, hubungkan sitemap dengan halaman Jasa Website Bali, Jasa SEO Maintenance Bali, dan artikel pendukung yang benar-benar relevan.

Jawaban Singkat

Untuk membantu website baru cepat dicrawl, buat sitemap.xml yang berisi URL penting, buat robots.txt yang tidak memblokir halaman utama, tambahkan sitemap page untuk pengguna, submit sitemap ke Google Search Console, lalu request indexing untuk halaman prioritas.

1. Apa Fungsi Sitemap?

Sitemap adalah file XML yang memberi daftar URL kepada crawler. Sitemap tidak menjamin semua halaman langsung masuk index, tetapi membantu Google menemukan struktur website.

Contoh sitemap sederhana:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://domainanda.com/</loc>
    <lastmod>2026-06-21</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.00</priority>
  </url>
</urlset>

URL yang sebaiknya masuk sitemap:

• Homepage.
• About.
• Contact.
• Privacy Policy.
• Disclaimer.
• Halaman layanan utama.
• Artikel berkualitas.
• Studi kasus atau portfolio yang punya konten cukup.

URL yang sebaiknya tidak masuk sitemap:

• Halaman test.
• Halaman admin.
• Halaman hasil pencarian internal.
• Halaman tag/kategori kosong.
• Halaman duplicate.
• Halaman tipis yang belum diperbaiki.

Memahami Field Sitemap

Tidak semua field sama pentingnya. Menurut dokumentasi sitemap Google:

• <loc> — URL absolut. Wajib. Gunakan URL kanonik (versi yang Anda ingin diindex).
• <lastmod> — tanggal modifikasi terakhir. Google memakainya jika akurat dan konsisten; jangan memalsukannya ke "hari ini" untuk semua URL karena Google akan mengabaikannya.
• <changefreq> dan <priority> — Google secara resmi mengabaikan keduanya. Boleh dibiarkan, tapi jangan berharap efek. Fokuskan energi pada lastmod yang jujur.

Sitemap Tunggal vs Sitemap Index

Satu file sitemap dibatasi 50.000 URL atau 50 MB (tidak terkompresi). Jika melebihi itu — atau jika Anda ingin memisahkan tipe konten agar lebih mudah dipantau — gunakan sitemap index yang menunjuk ke beberapa sitemap anak:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap><loc>https://domainanda.com/sitemap-main.xml</loc></sitemap>
  <sitemap><loc>https://domainanda.com/sitemap-articles.xml</loc></sitemap>
</sitemapindex>

Memisahkan per tipe (halaman utama, artikel, produk) memberi keuntungan praktis: di Search Console Anda bisa melihat rasio indexing per grup, sehingga cepat tahu apakah masalahnya di artikel atau di halaman produk.

2. Apa Fungsi Robots.txt?

Robots.txt memberi instruksi crawl dasar. File ini biasanya tersedia di:

https://domainanda.com/robots.txt

Contoh sederhana:

User-agent: *
Disallow: /api/
Disallow: /admin/
Allow: /

Sitemap: https://domainanda.com/sitemap-index.xml

Kesalahan umum:

• Tidak sengaja menulis Disallow: / sehingga semua halaman diblokir.
• Memblokir folder asset penting.
• Tidak mencantumkan lokasi sitemap.
• Menganggap robots.txt bisa menghapus halaman dari index. Untuk itu gunakan noindex atau hapus URL.

robots.txt vs noindex vs canonical: Mana yang Dipakai?

Tiga mekanisme ini sering tertukar, padahal fungsinya berbeda. Salah pilih adalah penyebab umum halaman "hilang" atau malah muncul saat tak diinginkan:

| Tujuan | Alat yang benar | Catatan | |--------|-----------------|---------| | Cegah crawl (hemat crawl budget) | robots.txt Disallow | Halaman tetap bisa terindex jika ada link ke sana | | Cegah muncul di hasil pencarian | Meta noindex | Halaman harus boleh dicrawl agar Google melihat tag ini | | Satukan duplikat ke satu versi | rel=canonical | Petunjuk, bukan perintah |

Jebakan klasik: memblokir halaman via robots.txt dan memasang noindex. Karena crawl diblokir, Google tidak pernah membaca tag noindex, sehingga halaman bisa tetap muncul (tanpa deskripsi). Untuk menghapus dari index, izinkan crawl dulu, biarkan noindex terbaca, baru blokir bila perlu setelah URL keluar dari index.

3. Bedanya Sitemap XML dan Sitemap Page

Sitemap XML dibuat untuk crawler. Sitemap page dibuat untuk pengguna dan bisa membantu internal linking.

Sitemap page yang baik berisi:

• Halaman utama.
• Halaman layanan.
• Artikel berdasarkan kategori.
• Tools atau resources jika relevan.
• Legal pages.
• Tanggal update terakhir.

Untuk website yang mengejar AdSense, sitemap page membantu reviewer melihat bahwa situs punya struktur dan konten yang jelas.

4. Submit ke Google Search Console

Langkah umum:

1. Buka Google Search Console.
2. Tambahkan property domain.
3. Verifikasi DNS atau file HTML.
4. Buka menu Sitemaps.
5. Submit sitemap-index.xml atau sitemap.xml.
6. Cek status berhasil atau error.
7. Gunakan URL Inspection untuk halaman prioritas.

Halaman prioritas untuk request indexing:

• Homepage.
• Halaman layanan utama.
• About.
• Contact.
• Artikel pilar.
• Studi kasus project.

Jangan request indexing terlalu banyak halaman tipis. Fokus pada halaman yang paling kuat.

Membaca Laporan "Pages" (Indexing) di Search Console

Setelah submit, laporan Pages memberi tahu status setiap URL. Status yang paling sering muncul dan artinya:

• "Crawled – currently not indexed" — Google melihat halaman tapi memutuskan tidak mengindeksnya. Hampir selalu sinyal kualitas/nilai konten kurang, bukan bug teknis. Perbaiki kedalaman dan keunikan konten.
• "Discovered – currently not indexed" — Google tahu URL-nya tapi belum crawl, sering karena crawl budget atau situs baru. Perkuat internal link ke halaman itu.
• "Duplicate without user-selected canonical" — Google memilih versi lain sebagai kanonik. Periksa tag canonical Anda.
• "Excluded by noindex tag" — sesuai harapan jika sengaja; masalah jika tidak.

Membaca laporan ini rutin lebih berguna daripada menekan "Request indexing" berulang kali — ia memberi tahu kenapa, bukan sekadar apakah.

Mempercepat via IndexNow (Opsional)

Untuk Bing dan mesin pencari yang mendukung IndexNow, Anda bisa mengirim ping saat konten baru terbit atau berubah, alih-alih menunggu crawl. Google belum mengadopsi IndexNow secara resmi, jadi ini pelengkap — bukan pengganti sitemap + Search Console.

5. Checklist Indexing Website Baru

Sebelum submit ulang AdSense atau menjalankan campaign SEO, cek ini:

• Sitemap bisa dibuka tanpa error.
• Robots.txt tidak memblokir halaman utama.
• Canonical mengarah ke URL yang benar.
• Meta robots tidak noindex untuk halaman penting.
• Halaman punya title dan meta description unik.
• Konten tidak kosong.
• Internal link dari homepage/menu/footer tersedia.
• Mobile friendly.
• Tidak ada broken link utama.
• HTTPS aktif.

6. Cara Membantu AEO dan GEO Lewat Struktur Sitemap

Sitemap bukan faktor AEO/GEO langsung, tetapi struktur konten membantu AI dan search engine memahami entity situs.

Untuk website jasa website Bali, buat cluster seperti:

• Jasa Website Bali.
• Jasa SEO Maintenance Bali.
• AI Search Optimization (GEO).
• Artikel tentang website villa, klinik, restoran, dan travel.
• Artikel technical SEO seperti sitemap, robots.txt, speed, schema.
• Projects sebagai bukti pengalaman.

Cluster ini memberi sinyal bahwa situs membahas web development dan SEO secara konsisten, bukan topik acak.

Crawl Budget: Apakah Website Baru Perlu Khawatir?

Crawl budget adalah jumlah URL yang Google mau dan mampu crawl di situs Anda dalam periode tertentu. Kabar baik untuk mayoritas website baru: Google menyatakan crawl budget bukan masalah untuk situs di bawah beberapa ribu URL. Kalau website Anda punya 50-500 halaman, fokuslah ke kualitas dan internal link, bukan crawl budget.

Crawl budget baru relevan saat situs besar (puluhan ribu URL, e-commerce, atau situs programmatic). Di kasus itu, memboroskan crawl pada URL bernilai rendah — filter faceted, hasil pencarian internal, parameter URL tak berguna — membuat halaman penting lambat ditemukan. Cara menjaganya:

• Blokir URL parameter dan halaman pencarian internal via robots.txt.
• Jaga sitemap hanya berisi URL kanonik bernilai; buang yang noindex atau redirect.
• Perbaiki rantai redirect dan broken link yang menghabiskan crawl sia-sia.
• Pastikan server cepat — server lambat menurunkan laju crawl Google.

Untuk website Bali skala UMKM, ini jarang jadi masalah. Tapi jika Anda membangun situs dengan ratusan halaman lokasi atau produk, rapikan crawl sejak awal agar halaman prioritas tidak tenggelam.

FAQ Sitemap dan Indexing

Apakah sitemap membuat website langsung terindex?

Tidak selalu. Sitemap membantu discovery, tetapi Google tetap menilai kualitas, internal link, canonical, dan value halaman.

Berapa lama website baru terindex?

Bisa beberapa jam hingga beberapa minggu. Website dengan struktur jelas, konten berkualitas, dan internal link baik biasanya lebih cepat ditemukan.

Apakah semua halaman harus masuk sitemap?

Tidak. Masukkan halaman yang penting dan layak index. Halaman tipis sebaiknya diperbaiki dulu atau tidak dimasukkan.

Kenapa sitemap submitted tetapi halaman belum indexed?

Kemungkinan konten belum cukup kuat, crawl belum selesai, halaman duplicate, canonical salah, atau Google memilih belum mengindex karena kualitas rendah.

Apakah perlu submit sitemap ulang setiap update konten?

Tidak. Setelah sitemap disubmit sekali, Google akan mengambilnya ulang secara berkala. Yang penting lastmod diperbarui saat konten berubah sehingga Google tahu ada yang baru. Submit ulang manual hanya perlu jika Anda mengubah struktur atau lokasi file sitemap.

Kesimpulan

Sitemap, robots.txt, dan Search Console adalah fondasi technical SEO untuk website baru. Namun fondasi ini harus didukung konten yang benar-benar bernilai. Jika sitemap berisi banyak halaman tipis, Google tetap bisa menilai situs sebagai low value.

Bangun struktur URL yang rapi, isi sitemap dengan halaman yang layak, dan perkuat konten sebelum mengejar indexing massal.