feat: Coverage-Based Deduplication Support via runtime/coverage Package #202
There are no files selected for viewing
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| Original file line number | Diff line number | Diff line change |
|---|---|---|
|
|
@@ -4,11 +4,4 @@ go 1.16 | |
|
|
||
| //replace go.keploy.io/server => ../keploy | ||
|
|
||
| require golang.org/x/tools v0.1.5 | ||
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -1,22 +1,254 @@ | ||||||||||||||||||||||||||
| // To activate, simply import this package for its side effects: | ||||||||||||||||||||||||||
| // | ||||||||||||||||||||||||||
| // import _ "github.com/keploy/go-sdk/v2/keploy" | ||||||||||||||||||||||||||
| // | ||||||||||||||||||||||||||
| // Then, build your application with atomic coverage instrumentation: | ||||||||||||||||||||||||||
| // | ||||||||||||||||||||||||||
| // go build -cover -covermode=atomic -o your-app . (cover flag is required https://pkg.go.dev/runtime/coverage@go1.25rc2#WriteCounters) | ||||||||||||||||||||||||||
| package keploy | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| import ( | ||||||||||||||||||||||||||
| "bufio" | ||||||||||||||||||||||||||
| "bytes" | ||||||||||||||||||||||||||
| "encoding/json" | ||||||||||||||||||||||||||
| "fmt" | ||||||||||||||||||||||||||
| "log" | ||||||||||||||||||||||||||
| "net" | ||||||||||||||||||||||||||
| "os" | ||||||||||||||||||||||||||
| "os/exec" | ||||||||||||||||||||||||||
| "path/filepath" | ||||||||||||||||||||||||||
| "runtime/coverage" | ||||||||||||||||||||||||||
| "sort" | ||||||||||||||||||||||||||
| "strings" | ||||||||||||||||||||||||||
| "sync" | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| "golang.org/x/tools/cover" | ||||||||||||||||||||||||||
| ) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| const ( | ||||||||||||||||||||||||||
| // controlSocketPath is used by Keploy to send commands (START/END) to the app. | ||||||||||||||||||||||||||
| controlSocketPath = "/tmp/coverage_control.sock" | ||||||||||||||||||||||||||
| // dataSocketPath is used by the app to send coverage data back to Keploy. | ||||||||||||||||||||||||||
| dataSocketPath = "/tmp/keploy-coverage.sock" | ||||||||||||||||||||||||||
|
There was a problem hiding this comment. Using fixed Unix socket paths under
Suggested change
|
||||||||||||||||||||||||||
| ) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| var ( | ||||||||||||||||||||||||||
| // controlMu protects access to the currentTestID, ensuring command handling is atomic. | ||||||||||||||||||||||||||
| controlMu sync.Mutex | ||||||||||||||||||||||||||
| // currentTestID stores the ID of the test case currently being recorded. | ||||||||||||||||||||||||||
| currentTestID string | ||||||||||||||||||||||||||
| ) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // init starts the background control server that listens for commands from the Keploy test runner. | ||||||||||||||||||||||||||
| func init() { | ||||||||||||||||||||||||||
| go startControlServer() | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // startControlServer sets up and runs the Unix socket server that listens for commands from Keploy. | ||||||||||||||||||||||||||
| func startControlServer() { | ||||||||||||||||||||||||||
| err := os.RemoveAll(controlSocketPath); | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| log.Printf("[Agent] Failed to remove old control socket: %v", err) | ||||||||||||||||||||||||||
| return | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| ln, err := net.Listen("unix", controlSocketPath) | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| log.Printf("[Agent] 🚨 FATAL: Could not start control server: %v", err) | ||||||||||||||||||||||||||
| return | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| defer ln.Close() | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| for { | ||||||||||||||||||||||||||
| conn, err := ln.Accept() | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| if strings.Contains(err.Error(), "use of closed network connection") { | ||||||||||||||||||||||||||
|
Contributor
There was a problem hiding this comment. Were we really getting this error here? "use of closed network connection", Because here you have just accepted the connection.
Contributor
Author
There was a problem hiding this comment. no i did not get this error. this error can only happen when it gets closed manually. |
||||||||||||||||||||||||||
| break | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| log.Printf("[Agent] Error accepting connection: %v", err) | ||||||||||||||||||||||||||
| continue | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| go handleControlRequest(conn) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // handleControlRequest parses commands from Keploy ("START testID", "END testID") | ||||||||||||||||||||||||||
| func handleControlRequest(conn net.Conn) { | ||||||||||||||||||||||||||
| defer conn.Close() | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| command, err := bufio.NewReader(conn).ReadString('\n') | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| log.Printf("[Agent] Error reading command: %v", err) | ||||||||||||||||||||||||||
| return | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // Split the command into action and testID | ||||||||||||||||||||||||||
| parts := strings.SplitN(strings.TrimSpace(command), " ", 2) | ||||||||||||||||||||||||||
| if len(parts) != 2 { | ||||||||||||||||||||||||||
| log.Printf("[Agent] Invalid command format: '%s'", command) | ||||||||||||||||||||||||||
| return | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| action, id := parts[0], parts[1] | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| controlMu.Lock() | ||||||||||||||||||||||||||
| defer controlMu.Unlock() | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| switch action { | ||||||||||||||||||||||||||
| case "START": | ||||||||||||||||||||||||||
| currentTestID = id | ||||||||||||||||||||||||||
| err := coverage.ClearCounters() | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| log.Printf("[Agent] Error clearing coverage counters: %v", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| case "END": | ||||||||||||||||||||||||||
| if currentTestID != id { | ||||||||||||||||||||||||||
|
Contributor
There was a problem hiding this comment. You can use early return here. And then there is no need of else block.
Contributor
There was a problem hiding this comment. @officialasishkumar please address this comment. |
||||||||||||||||||||||||||
| log.Printf("[Agent] Warning: Mismatched END command. Expected '%s', got '%s'.", currentTestID, id) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| err := reportCoverage(id); | ||||||||||||||||||||||||||
|
There was a problem hiding this comment. On receiving an END command with a mismatched test ID, the code logs a warning but still proceeds to report coverage for the provided ID; you may want to skip reporting in this case to avoid inconsistent state.
Suggested change
|
||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| log.Printf("[Agent] 🚨 Error reporting coverage for test %s: %v", id, err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| // Reset the currentTestID to an empty string to indicate that no test is currently being recorded. | ||||||||||||||||||||||||||
| currentTestID = "" | ||||||||||||||||||||||||||
| default: | ||||||||||||||||||||||||||
| log.Printf("[Agent] Unrecognized command: %s", action) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // reportCoverage dumps, processes, and sends the coverage data. | ||||||||||||||||||||||||||
| func reportCoverage(testID string) error { | ||||||||||||||||||||||||||
| // Create a temporary directory to store the coverage data. | ||||||||||||||||||||||||||
| tempDir, err := os.MkdirTemp("", "keploy-coverage-") | ||||||||||||||||||||||||||
|
Contributor
There was a problem hiding this comment. We can name the temp folder as
Contributor
There was a problem hiding this comment. @officialasishkumar please address this comment. |
||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return fmt.Errorf("failed to create temp dir: %w", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| defer os.RemoveAll(tempDir) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| err = coverage.WriteCountersDir(tempDir); | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return fmt.Errorf("failed to write coverage counters. Ensure the application was built with '-cover -covermode=atomic'. Original error: %w", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| err = coverage.WriteMetaDir(tempDir); | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return fmt.Errorf("failed to write meta dir: %w", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| processedData, err := processCoverageProfilesUsingCovdata(tempDir) | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return fmt.Errorf("failed to process coverage profiles: %w", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| if len(processedData) == 0 { | ||||||||||||||||||||||||||
| log.Printf("[Agent-Warning] No covered lines were found for test %s. The report will be empty.", testID) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| payload := map[string]interface{}{ | ||||||||||||||||||||||||||
| "id": testID, | ||||||||||||||||||||||||||
| "executedLinesByFile": processedData, | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| jsonData, err := json.Marshal(payload) | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return fmt.Errorf("failed to marshal coverage data to JSON: %w", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| return sendToSocket(jsonData) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // sendToSocket connects to the Keploy data socket and writes the JSON payload. | ||||||||||||||||||||||||||
| func sendToSocket(data []byte) error { | ||||||||||||||||||||||||||
| conn, err := net.Dial("unix", dataSocketPath) | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return fmt.Errorf("could not connect to keploy data socket at %s: %w", dataSocketPath, err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| defer conn.Close() | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| _, err = conn.Write(data) | ||||||||||||||||||||||||||
| return err | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // processCoverageProfilesUsingCovdata uses the covdata tool to convert binary coverage data to text format | ||||||||||||||||||||||||||
| // and then processes it using the standard cover package. | ||||||||||||||||||||||||||
| func processCoverageProfilesUsingCovdata(dir string) (map[string][]int, error) { | ||||||||||||||||||||||||||
| // Create a temporary file for the text format output | ||||||||||||||||||||||||||
| textFile, err := os.CreateTemp("", "coverage-*.txt") | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return nil, fmt.Errorf("failed to create temp file for text coverage: %w", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| defer os.Remove(textFile.Name()) | ||||||||||||||||||||||||||
| defer textFile.Close() | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // Use covdata to convert binary format to text format | ||||||||||||||||||||||||||
| cmd := exec.Command("go", "tool", "covdata", "textfmt", "-i="+dir, "-o="+textFile.Name()) | ||||||||||||||||||||||||||
| var stderr bytes.Buffer | ||||||||||||||||||||||||||
| cmd.Stderr = &stderr | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| err = cmd.Run(); | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return nil, fmt.Errorf("failed to convert coverage data to text format: %w\nStderr: %s", err, stderr.String()) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // Get the module path (e.g., "your/module/path") to resolve file paths correctly. | ||||||||||||||||||||||||||
| modulePathCmd := exec.Command("go", "list", "-m") | ||||||||||||||||||||||||||
| var stderrModPath bytes.Buffer | ||||||||||||||||||||||||||
| modulePathCmd.Stderr = &stderrModPath | ||||||||||||||||||||||||||
| modulePathBytes, err := modulePathCmd.Output() | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return nil, fmt.Errorf("failed to get module path with 'go list -m': %w\nStderr: %s", err, stderrModPath.String()) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| modulePath := strings.TrimSpace(string(modulePathBytes)) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // Get the module's root directory on the filesystem. | ||||||||||||||||||||||||||
| moduleDirCmd := exec.Command("go", "list", "-m", "-f", "{{.Dir}}") | ||||||||||||||||||||||||||
| var stderrModDir bytes.Buffer | ||||||||||||||||||||||||||
| moduleDirCmd.Stderr = &stderrModDir | ||||||||||||||||||||||||||
| moduleDirBytes, err := moduleDirCmd.Output() | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return nil, fmt.Errorf("failed to get module directory with 'go list -m -f {{.Dir}}': %w\nStderr: %s", err, stderrModDir.String()) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| moduleDir := strings.TrimSpace(string(moduleDirBytes)) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // Parse the text format using the standard cover package. | ||||||||||||||||||||||||||
| profiles, err := cover.ParseProfiles(textFile.Name()) | ||||||||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||||||||
| return nil, fmt.Errorf("failed to parse text coverage profile: %w", err) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| executedLinesByFile := make(map[string][]int) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| for _, profile := range profiles { | ||||||||||||||||||||||||||
| var absolutePath string | ||||||||||||||||||||||||||
| if strings.HasPrefix(profile.FileName, modulePath) { | ||||||||||||||||||||||||||
| relativePath := strings.TrimPrefix(profile.FileName, modulePath) | ||||||||||||||||||||||||||
| absolutePath = filepath.Join(moduleDir, relativePath) | ||||||||||||||||||||||||||
| } else if !filepath.IsAbs(profile.FileName) { | ||||||||||||||||||||||||||
| continue | ||||||||||||||||||||||||||
| } else { | ||||||||||||||||||||||||||
| absolutePath = profile.FileName | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| lineSet := make(map[int]bool) | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // For each block in the profile, if the count is greater than 0, add the lines to the map. | ||||||||||||||||||||||||||
| for _, block := range profile.Blocks { | ||||||||||||||||||||||||||
| if block.Count > 0 { | ||||||||||||||||||||||||||
|
Contributor
There was a problem hiding this comment. you can write this condition like if block.Count<=0{
continue
} |
||||||||||||||||||||||||||
| for line := block.StartLine; line <= block.EndLine; line++ { | ||||||||||||||||||||||||||
| lineSet[line] = true | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| // If there are any lines executed, add them to the map. | ||||||||||||||||||||||||||
| if len(lineSet) > 0 { | ||||||||||||||||||||||||||
| lines := make([]int, 0, len(lineSet)) | ||||||||||||||||||||||||||
| for line := range lineSet { | ||||||||||||||||||||||||||
| lines = append(lines, line) | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| sort.Ints(lines) | ||||||||||||||||||||||||||
| executedLinesByFile[absolutePath] = lines | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||
| return executedLinesByFile, nil | ||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||
Oops, something went wrong.
Oops, something went wrong.
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
add /v3 here as well