Analisis Unity A / B Pengujian
Note: sekarang tersedia sebagai preview packageA preview* paket dalam pengembangan dan belum siap untuk produksi. Paket dalam pratinjau mungkin ada tahap perkembangan, dari tahap awal hingga penyelesaian dekat.
Lihat di Glossary. Remote Config adalah penawaran yang ditingkatkan yang memungkinkan Anda untuk mengubah perilaku dan penampilan permainan Anda tanpa memerlukan biner baru. Anda dapat mengaktifkan atau menonaktifkan fitur, mengubah spesifikasi permainan Anda untuk menargetkan audiens tertentu, atau menjalankan acara khusus dengan menjadwalkan rilis konten baru. Sitemap
Tes A / B adalah eksperimen terkontrol yang mengekspos berbagai kelompok pemain untuk variasi beberapa aspek permainan Anda. Aspek permainan yang dapat Anda uji mendasar, seperti skema kontrol input, atau dapat kosmetik, seperti perawatan warna yang berbeda, atau sesuatu yang lain di antaranya. Tes A / B memungkinkan Anda untuk membandingkan metrik kunci yang dikumpulkan selama percobaan untuk membantu Anda menganalisis variasi yang melakukan lebih baik.
How does A/B testing work?
Unity AnalyticsUnity Analytics
Lihat di Glossary A / B kelompok pengujian pemain sesuai dengan varian yang Anda tentukan dalam percobaan Anda. Setiap kelompok melihat perawatan permainan Anda yang Anda tentukan untuk kelompok varian itu. Perawatan adalah satu set atau lebih Pengaturan jarak jauh adalah variabel game yang dapat Anda set jarak jauh di Dasbor Analisis Anda. More info
Lihat di Glossary yang Anda menetapkan nilai unik untuk setiap kelompok varian. Pada runtime, layanan pengujian A / B secara acak menetapkan pemain ke salah satu kelompok berdasarkan persentase alokasi varian Anda. Pemain menerima nilai Pengaturan Jarak Jauh untuk kelompok mereka yang ditugaskan. Aplikasi Anda kemudian menggunakan Pengaturan Jarak Jauh sehingga pemain mengalami aspek permainan Anda yang ingin Anda uji.
Bagian kunci dari tes A / B meliputi:
Experiment - tes yang dijalankan dengan menunjukkan perawatan yang berbeda untuk kelompok pemain yang berbeda.
Variant — menentukan jumlah kelompok dan distribusi pemain kepada kelompok-kelompok tersebut. Satu varian selalu kelompok kontrol.
Treatment — menentukan Pengaturan Jarak Jauh untuk digunakan untuk percobaan dan nilai pengaturan khusus untuk setiap varian.
Goal - Analisis metrik yang ingin Anda perbaiki dengan percobaan. Percobaan membandingkan metrik tujuan di seluruh kelompok varian sehingga Anda dapat melihat perawatan mana yang memiliki efek yang paling diinginkan.
Anda dapat menjalankan lebih dari satu percobaan pada saat yang sama, tetapi Anda harus berhati-hati bahwa eksperimen yang berbeda tidak berinteraksi karena beberapa pemain akan melihat perawatan eksperimental untuk kedua percobaan. Misalnya, jika Anda menjalankan tes untuk membandingkan pemesanan langkah-langkah dalam tutorial onboarding Anda dalam satu percobaan dan menjalankan tes yang berbeda untuk menguji pacing tutorial, Anda akan memiliki kesulitan mencari tahu percobaan yang menyebabkan perubahan dalam hasil. Meskipun contoh itu mungkin cukup jelas, bahkan tes bagian yang tidak terkait dari permainan Anda bisa berinteraksi. Semakin mendasar bagian dari permainan Anda, Anda menguji dan semakin besar kelompok eksperimental Anda, semakin banyak kesempatan untuk interaksi eksperimental.
Membuat dan menjalankan tes A / B dari Dasbor Unity AnalyticsSebuah platform data yang menyediakan analitik untuk permainan Unity Anda. More info
Lihat di Glossary. Anda juga harus menerapkan perawatan eksperimen dalam aplikasi Anda menggunakan API Pengaturan Jarak Jauh.
Membuat percobaan
Untuk membuat percobaan:
Pergi ke Dasbor Analisis untuk proyek Anda.
Klik A/B Testing untuk membuka halaman Pengujian A / B.
-
Klik tombol Create Experiment.
Dialog Create new experiment terbuka.
Masukkan nama untuk percobaan.
Klik Create.
Setelah percobaan telah diciptakan, Anda harus menentukan tujuan, varian dan perawatan.
Pilih tujuan eksperimen
Tujuan eksperimen mendefinisikan metrik analitik yang perawatan eksperimen dirancang untuk mempengaruhi. Anda dapat memilih:
Day 1 RetentionPersentase pemain yang kembali ke permainan Anda satu hari setelah bermain pertama kalinya. More info
Lihat di Glossary — persentase pengguna yang kembali ke permainan Anda persis satu hari setelah pertama kali mereka bermain.Day 7 RetentionPersentase pemain yang kembali ke permainan Anda tujuh hari setelah bermain pertama kalinya. More info
Lihat di Glossary — persentase pengguna yang kembali ke permainan Anda persis tujuh hari setelah pertama kali mereka bermain.
report yang dihasilkan untuk percobaan Anda menunjukkan perbedaan dalam metrik di berbagai varian eksperimen. Tujuan yang dipilih juga mempengaruhi jumlah waktu percobaan harus dijalankan untuk mengumpulkan data yang signifikan secara statistik. Misalnya, dibutuhkan lebih lama untuk menjalankan retensi hari pengukuran percobaan dari satu hari retensi 1.
Untuk memilih tujuan percobaan:
-
Klik tombol Select Experiment Goal.
-
Pilih tujuan dari daftar drop-down.
Klik Save.
Mengatur varian eksperimen
Gunakan bagian Variants eksperimen untuk menentukan kelompok pemain untuk tes A / B dan menetapkan persentase pemain layanan pengujian mengalokasikan ke setiap kelompok.
Kelompok Control selalu ada. Kelompok kontrol harus menerima pengalaman terkini atau default dalam permainan Anda. Kelompok ini memberikan dasar hasil dari kelompok lain dapat dibandingkan.
Untuk menambahkan varian tambahan, klik tombol ADD di bagian atas. Menetapkan nama dan persentase alokasi untuk kelompok. Persentase alokasi untuk semua kelompok harus menambah 100%. Kolom Estimate menampilkan jumlah pemain yang diharapkan dapat dialokasikan untuk setiap varian per hari.
Untuk menghapus varian, klik trash dapat ikon di sebelah namanya.
Perkiraan waktu untuk menyelesaikan percobaan didasarkan pada berapa lama harus mengambil untuk mencapai jumlah sampel yang valid secara statistik. Semakin banyak pemain (DAU) aplikasi Anda biasanya memiliki dan semakin besar alokasi pemain untuk varian eksperimental, semakin pendek perkiraan waktu akan.
Klik Save ketika varian Anda ditetapkan sesuai keinginan.
Mengatur perawatan eksperimen
Gunakan bagian Treatments untuk menentukan pengaturan yang digunakan dalam percobaan dan menetapkan nilai pengaturan individu untuk setiap kelompok.
Klik tombol ADD untuk menambahkan pengaturan untuk percobaan.
Anda dapat menggunakan Pengaturan Jarak Jauh yang ada dari konfigurasi Rilis selama pengaturan tidak digunakan dalam eksperimen aktif lainnya. Perhatikan bahwa halaman Pengaturan Jarak Jauh hanya menampilkan nilai default yang digunakan untuk kelompok kontrol. Pengaturan varian hanya dapat dilihat atau diubah di halaman Pengujian A / B.
Anda dapat membuat pengaturan baru tanpa masuk ke halaman Pengaturan Jarak Jauh. Pengaturan yang dibuat dalam Pengujian A / B tidak ditampilkan di halaman Pengaturan Jarak Jauh. Jika Anda ingin terus menggunakan pengaturan setelah percobaan selesai, Anda dapat membuat Pengaturan Jarak Jauh dengan nama yang sama.
Klik Save ketika perawatan Anda ditentukan.
Menerapkan perawatan Anda
Gunakan API untuk mengakses nilai-nilai yang didefinisikan dalam percobaan Anda saat ini. Gunakan nama pengaturan yang ditunjukkan pada bagian Perawatan sebagai kunci ketika mengakses pengaturan dalam permainan Anda. Anda dapat menerapkan Pengaturan Jarak Jauh pada code atau menggunakan Komponen Pengaturan jarak jauh untuk mengakses dan menerapkan nilai pengaturan di jendela Unity InspectorJendela Unity yang menampilkan informasi tentang Pengaturan GameObject yang dipilih saat ini, aset atau proyek, memungkinkan Anda untuk memeriksa dan mengedit nilai. More info
Lihat di Glossary.
Mengelola eksperimen
Setelah Anda membuat setidaknya satu percobaan, halaman Pengujian A / B menampilkan eksperimen Anda dalam daftar.
To start an experiment:
Klik nama percobaan dalam status Not Started.
Klik tombol Start Experiment.
Sitemap Setelah percobaan dimulai, Anda tidak bisa lagi membuat perubahan, karena itu akan membatalkan hasil tes.Note: After an experiment has started, you can no longer make changes, since that would invalidate the test results.
To stop an experiment:
Klik nama percobaan dalam status Running.
Klik tombol Stop Experiment.
Sitemap Anda tidak dapat memulai percobaan.Note: You cannot restart an experiment.
To view a report:
Klik nama percobaan dalam status Ended.
Bagian Pelaporan menampilkan hasil percobaan.
Reports
Gunakan bagian Laporan untuk meninjau hasil eksperimen setelah selesai.
Laporan ini mencantumkan kelompok varian, metrik yang direkam untuk tujuan percobaan, dan bagaimana setiap varian dibandingkan dengan kelompok kontrol. ( Peringkat signifikan menggunakan tingkat signifikansi statistik standar 5%.)
- 2018–08–01 Sitemap
- 2018-08-01 - Layanan yang kompatibel dengan Unity 5.5 seterusnya pada tanggal ini tetapi kompatibilitas versi dapat dikenakan perubahan.
- Fitur baru di 2018.1