GitHub Copilotを使用して社内のテスト カバレッジを拡大する

機能を理解し、開発者を有効にし、Copilotの影響を測定します。

この機能を使用できるユーザーについて

GitHub Copilot ビジネス or GitHub Copilot Enterprise

この記事で

このガイドは、エンジニアリング システムの改善を推進するための戦略とメトリックを推奨する GitHub の「Engineering System Success Playbook (エンジニアリング システム サクセス プレイブック)」(ESSP) からヒントを得ています。

Copilot のロールアウトを開始する場合は、目標を定義し、それに応じてロールアウトを計画し、スタッフに目標を明確に伝えることをお勧めします。 「GitHub Copilot を使って会社のエンジニアリング目標を達成する」をご覧ください。

1.成功への障壁を特定する

ESSP が推奨する最初の手順は、会社の改善を妨げている障害を明確に理解することです。 現在のベースライン、目的とする将来の状態、進歩を妨げる障壁を理解することで、的を絞った効果的な変更を行うことができます。

多くのソフトウェア チームは、単体テストのカバレッジが狭いために、高品質なコードを維持する上で根深い課題に直面しています。 ペースの速い開発環境で、特にチームが機能を迅速に提供するように迫られている場合、テストの作成は時間がかかる作業であり、必要ではないと見なされることがよくあります。

その結果、重大なバグが開発ライフサイクルの終盤に (多くの場合、ステージング環境または運用環境で) 検出されることがあります。

これは一連の悪影響につながります。

  • バグ率の上昇と顧客から報告される問題
  • 配置後のバグ修正にかかるコストの増加
  • コードの安定性に対する開発者の自信の低下
  • 事後対応型のデバッグとパッチ適用によるリリース サイクルの遅延

レガシ システムでは、依存関係が複雑であったり、コードの文書化が不十分だったりするため、テスト カバレッジの対応がさらに困難になる可能性があります。 開発者は、以前のコードベースやテスト フレームワーク全般に精通していない可能性があり、それによって問題がさらに複雑になります。

テスト カバレッジの向上は推奨されるベスト プラクティスですが、多くのチームはそのための時間と専門知識を確保するのに苦労しています。

2.オプションを評価する

次の手順では、手順 1 で特定した障壁に対処するための解決策を評価し、同意します。 このガイドでは、特定した目標に対して GitHub Copilot がどのような影響を与え得るかに焦点を当てます。 新しいツールのロールアウトを成功させるには、カルチャとプロセスを変更する必要もあります。

パイロット グループを使用して新しいツールとプロセスの試用版を実行し、フィードバックを収集し、成功を測定します。 試用中に使用するトレーニング リソースとメトリックについては、3 を参照してください。セクションを監視するための変更とメトリックを実装します。

営業に問い合わせる

Copilotがどのように役立つか

GitHub Copilot は、単体テストを記述するプロセスを大幅に高速化し、簡素化できます。 周囲のコードとコンテキストを理解することで、 Copilot は、テスト対象のコードの構造とロジックに一致するテスト関数を提案できます。

Copilotの機能は、複数のシナリオで役立ちます。

  • 開発者が新しい関数を記述すると、 Copilot は対応するテスト ケースをインラインで自動的に提案できます。
  • レガシ コードをリファクタリングする場合、 Copilot は、回帰を防ぐためにテスト スキャフォールディングを生成するのに役立ちます。
  • テストされていないモジュールの場合、開発者は、テスト カバレッジが不足しているか一貫性がない場合でも、意味のあるテスト ケースを生成するように Copilot を求めることができます。

単体テストをより簡単で迅速に、手動作業を減らして行うことで、Copilot はテストカバレッジのギャップを生む障害を減らし、チームが品質を重視する考え方を採用するのに役立ちます。

ユースケース

  • インライン テスト生成: 開発者は、コンテキストを切り替えることなく、特定の関数またはモジュールのテストを生成するように Copilot に依頼できます。
  • エッジ ケースカバレッジの向上: エッジ シナリオ (null 入力、空のリスト、無効な状態など) の Copilot を求めることで、開発者はより多くのロジックの分岐をすばやくカバーできます。
  • 高速オンボーディング: 新しいチーム メンバーは、 Copilot を使用して、生成されたテスト ケースを見て関数がどのように動作することが期待されるかを理解できます。
  • CI/CD に関するサポート: Copilot は、テストをビルド パイプラインに統合する方法を提案し、カバレッジの改善によって品質ゲートが直接サポートされるようにすることができます。

文化に関する考慮事項

GitHub Copilot のロールアウトに加えて、自分の目的の達成を妨げる可能性がある社会的な要因や文化的な要因に対処します。

次の例は、ESSP の "アンチパターン" セクションから抜粋したものです。

  • チームは、手動テストや不十分な自動テストに依存している可能性があります。 これは、自動化のためのリソース制約や、最新のテスト ツールの経験不足が原因である可能性があります。
  • チームがリリースを長く待ちすぎると、大量のコードを一度に配置することになり、バグや回帰の検出が難しくなります。 これは、CI/CD パイプラインの成熟度の欠如、厳格なコンプライアンス要件、または PR と配置間のレビュー サイクルが長いことが原因で発生する可能性があります。

3.変更を実装する

障壁を克服するための適切なアプローチを特定したら、特定したソリューションをスケーリングします。 新しいツールまたはプロセスのロールアウトを成功させるには、ロールアウトの各部分に所有権を割り当て、目標について透過的に伝え、効果的なトレーニングを提供し、結果を測定します。

このセクションでは、開発者向けのシナリオ例、ベスト プラクティス、リソースについて説明します。 このセクションでは、従業員が Copilot を目標に沿った方法で使用できるように 、コミュニケーションとトレーニング セッションを計画 します。

インラインでテストを生成する

  1. VS Code で、テストする関数を選択し、 Copilotを求めます。 Generate a unit test for this code.
  2. Copilot は、言語と構造に応じて、テストをインラインまたは別のテスト ファイルで生成します。
  3. 提案をレビューし、改善し、受け入れます。

エッジ ケースをカバーする

  1. テストを記述した後、 Copilotに質問します。 What are some edge cases I should test for this function?

    または: Write test cases for when the input is null or empty.

  2. Copilot は、境界条件をカバーする追加のテスト ケースを提案します。

  3. テストをレビューし、テスト スイートに組み込みます。

新しいコードを理解する

  1. レガシ関数を選択し、 Copilotを確認します。 Explain what this function does and generate a test to validate it.
  2. Copilot 関数の目的を説明し、対応するテスト ケースを提案します。
  3. テスト ケースを確認して、想定される動作を理解し、コンテキストをすばやく構築します。

CI/CD に関する支援を受ける

  1. テスト ケースをレビューし、コードベースにコミットします。
  2. Copilotに質問する:Where should I place this test if I want it to run in CI?
  3. コードベースの構造に基づいて、 Copilot はテスト ファイルを配置する場所とパイプライン構成を更新する方法を提案します。

開発者向けのベスト プラクティス

開発者に推奨されること:

  • Copilotとチャットするときは、説明的なコメントまたはプロンプトを使用します。 例: Generate unit tests for a function that calculates discounts based on user type and purchase amount.
  • Copilotを使用してロジック カバレッジを調べる。 例: What branches or conditions does this function have that should be tested?
  • さまざまなプロンプト手法について確認し、さまざまな AI モデルの結果を比較する。

開発者はしてはいけない:

  • ロジックをレビューせずに生成されたテストを受け入れる。 テストが実際の要件を反映し、現実的な入力と出力を処理していることを確認する。
  • エッジ動作を確認せずにスキップする。 "正常系のパス" のみをテストすると、リグレッションを見逃すリスクがあります。
  • 文書化されていないビジネス ルールを推測するには、 Copilot に依存します。 プロンプトやコメントで常にコンテキストを提供してください。
  • Copilotを人間のコード レビューの代わりに扱います。 Copilot はプロセスを加速しますが、エンジニアリングの判断を適用する必要があります。

開発者用リソース

注目すべきメトリック

新しいツールの評価版を評価し、完全なロールアウトで一貫した改善が提供されていることを確認するには、結果を監視し、必要に応じ調整を行います。 品質、速度、開発者の幸福度の重要なゾーンと、これらのゾーンを組み合わせてビジネス成果に貢献する方法を検討することをお勧めします。

この特定の目標に対するCopilotの影響を評価するための指標を以下に示します。

  •           **テスト カバレッジ**: Copilot の導入後に、行カバレッジおよび分岐カバレッジの増加を追跡します。 可能であれば、CIパイプラインのテストカバレッジレポートを確認してください。
  • 配置後のバグ率: 運用環境で報告されるバグは少なくなるはずです。
  • 開発者の自信: アンケートや振り返りを使って、開発者が新しいコードをリリースする際にどの程度自信を持っているかを評価します。
  • テストの作成時間: 単体テストの作成にかかる時間の短縮を測定します。