Cara Membuat Sitemap, Robots.txt, dan Submit Search Console untuk Website Baru

Website baru sering sulit terindex bukan karena Google tidak mau, tetapi karena struktur crawl belum jelas. Sitemap, robots.txt, internal link, dan Search Console membantu Google menemukan halaman yang penting dan menghindari halaman yang tidak perlu.

Panduan ini cocok untuk website company profile, blog, portfolio, jasa website, toko online kecil, dan website bisnis lokal di Bali.

Jika Anda sedang memperbaiki masalah AdSense, mulai juga dari checklist memperbaiki Low Value Content AdSense. Untuk website jasa, hubungkan sitemap dengan halaman Jasa Website Bali, Jasa SEO Maintenance Bali, dan artikel pendukung yang benar-benar relevan.

Jawaban Singkat

Untuk membantu website baru cepat dicrawl, buat sitemap.xml yang berisi URL penting, buat robots.txt yang tidak memblokir halaman utama, tambahkan sitemap page untuk pengguna, submit sitemap ke Google Search Console, lalu request indexing untuk halaman prioritas.

1. Apa Fungsi Sitemap?

Sitemap adalah file XML yang memberi daftar URL kepada crawler. Sitemap tidak menjamin semua halaman langsung masuk index, tetapi membantu Google menemukan struktur website.

Contoh sitemap sederhana:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://domainanda.com/</loc>
    <lastmod>2026-06-21</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.00</priority>
  </url>
</urlset>

URL yang sebaiknya masuk sitemap:

• Homepage.
• About.
• Contact.
• Privacy Policy.
• Disclaimer.
• Halaman layanan utama.
• Artikel berkualitas.
• Studi kasus atau portfolio yang punya konten cukup.

URL yang sebaiknya tidak masuk sitemap:

• Halaman test.
• Halaman admin.
• Halaman hasil pencarian internal.
• Halaman tag/kategori kosong.
• Halaman duplicate.
• Halaman tipis yang belum diperbaiki.

2. Apa Fungsi Robots.txt?

Robots.txt memberi instruksi crawl dasar. File ini biasanya tersedia di:

https://domainanda.com/robots.txt

Contoh sederhana:

User-agent: *
Disallow: /api/
Disallow: /admin/
Allow: /

Sitemap: https://domainanda.com/sitemap-index.xml

Kesalahan umum:

• Tidak sengaja menulis Disallow: / sehingga semua halaman diblokir.
• Memblokir folder asset penting.
• Tidak mencantumkan lokasi sitemap.
• Menganggap robots.txt bisa menghapus halaman dari index. Untuk itu gunakan noindex atau hapus URL.

3. Bedanya Sitemap XML dan Sitemap Page

Sitemap XML dibuat untuk crawler. Sitemap page dibuat untuk pengguna dan bisa membantu internal linking.

Sitemap page yang baik berisi:

• Halaman utama.
• Halaman layanan.
• Artikel berdasarkan kategori.
• Tools atau resources jika relevan.
• Legal pages.
• Tanggal update terakhir.

Untuk website yang mengejar AdSense, sitemap page membantu reviewer melihat bahwa situs punya struktur dan konten yang jelas.

4. Submit ke Google Search Console

Langkah umum:

1. Buka Google Search Console.
2. Tambahkan property domain.
3. Verifikasi DNS atau file HTML.
4. Buka menu Sitemaps.
5. Submit sitemap-index.xml atau sitemap.xml.
6. Cek status berhasil atau error.
7. Gunakan URL Inspection untuk halaman prioritas.

Halaman prioritas untuk request indexing:

• Homepage.
• Halaman layanan utama.
• About.
• Contact.
• Artikel pilar.
• Studi kasus project.

Jangan request indexing terlalu banyak halaman tipis. Fokus pada halaman yang paling kuat.

5. Checklist Indexing Website Baru

Sebelum submit ulang AdSense atau menjalankan campaign SEO, cek ini:

• Sitemap bisa dibuka tanpa error.
• Robots.txt tidak memblokir halaman utama.
• Canonical mengarah ke URL yang benar.
• Meta robots tidak noindex untuk halaman penting.
• Halaman punya title dan meta description unik.
• Konten tidak kosong.
• Internal link dari homepage/menu/footer tersedia.
• Mobile friendly.
• Tidak ada broken link utama.
• HTTPS aktif.

6. Cara Membantu AEO dan GEO Lewat Struktur Sitemap

Sitemap bukan faktor AEO/GEO langsung, tetapi struktur konten membantu AI dan search engine memahami entity situs.

Untuk website jasa website Bali, buat cluster seperti:

• Jasa Website Bali.
• Jasa SEO Maintenance Bali.
• AI Search Optimization (GEO).
• Artikel tentang website villa, klinik, restoran, dan travel.
• Artikel technical SEO seperti sitemap, robots.txt, speed, schema.
• Projects sebagai bukti pengalaman.

Cluster ini memberi sinyal bahwa situs membahas web development dan SEO secara konsisten, bukan topik acak.

FAQ Sitemap dan Indexing

Apakah sitemap membuat website langsung terindex?

Tidak selalu. Sitemap membantu discovery, tetapi Google tetap menilai kualitas, internal link, canonical, dan value halaman.

Berapa lama website baru terindex?

Bisa beberapa jam hingga beberapa minggu. Website dengan struktur jelas, konten berkualitas, dan internal link baik biasanya lebih cepat ditemukan.

Apakah semua halaman harus masuk sitemap?

Tidak. Masukkan halaman yang penting dan layak index. Halaman tipis sebaiknya diperbaiki dulu atau tidak dimasukkan.

Kenapa sitemap submitted tetapi halaman belum indexed?

Kemungkinan konten belum cukup kuat, crawl belum selesai, halaman duplicate, canonical salah, atau Google memilih belum mengindex karena kualitas rendah.

Kesimpulan

Sitemap, robots.txt, dan Search Console adalah fondasi technical SEO untuk website baru. Namun fondasi ini harus didukung konten yang benar-benar bernilai. Jika sitemap berisi banyak halaman tipis, Google tetap bisa menilai situs sebagai low value.

Bangun struktur URL yang rapi, isi sitemap dengan halaman yang layak, dan perkuat konten sebelum mengejar indexing massal.